行政处罚不给处罚决定书，是可以以此为依据申请撤销该行政处罚的。以下从法律依据、撤销条件、撤销途径及法律效果几个方面进行详细分析：
一、法律依据
《中华人民共和国行政处罚法》：该法明确规定了行政处罚的合法性和程序要求。若行政机关未依法出具处罚决定书，可能构成程序违法，从而成为撤销处罚的依据。
《中华人民共和国行政诉讼法》：根据该法第七十条，若行政处罚存在主要证据不足、适用法律法规错误、违反法定程序等情形，人民法院有权判决撤销或部分撤销该处罚决定书。未出具处罚决定书可能构成违反法定程序。
《中华人民共和国行政复议法》：行政复议机关在审查具体行政行为时，若发现行政处罚存在程序违法等情形，有权作出撤销该处罚决定书的决定。
二、撤销条件
行政处罚决定书的撤销通常基于以下条件：
程序违法：行政机关未按照法定程序进行处罚，如未出具处罚决定书，即属于程序违法。
事实认定错误或法律适用错误：虽然未出具处罚决定书本身不直接构成事实认定错误或法律适用错误，但若处罚决定书内容存在此类错误，且因未出具而无法审查，则可能间接导致撤销。不过，在此情境下，我们主要关注程序违法这一直接相关点。
行政行为不适当：包括行政行为不合理、不公正等情形。虽然未出具处罚决定书本身不直接构成不适当，但若处罚决定因未出具而无法体现合理性或公正性，则可能间接影响撤销决定。但同样，我们主要关注程序违法。
三、撤销途径
行政机关主动撤销：若行政机关发现未出具处罚决定书属于程序违法，可以主动予以撤销，并及时公开说明理由。
行政复议撤销：当事人对行政处罚决定不服的，可以在规定期限内向作出处罚决定的行政机关的上一级行政机关或者同级人民政府提出行政复议申请。行政复议机关经过审查，若认为原行政处罚决定存在程序违法等情形，会作出撤销该行政处罚决定书的决定。
行政诉讼撤销：当事人也可以在规定期限内向有管辖权的人民法院提起行政诉讼。法院经过审理，若查明行政处罚决定存在程序违法等情形，会判决撤销或者部分撤销该行政处罚决定书。
四、法律效果
行政处罚决定书被撤销后，其法律效力自始不存在。这意味着：
五、建议与注意事项
及时申请撤销：若认为行政处罚未出具处罚决定书属于程序违法，当事人应及时向行政机关提出异议，或通过行政复议、行政诉讼等途径申请撤销。
保留证据：在申请撤销过程中，当事人应保留相关证据，如行政处罚通知、现场记录等，以证明行政机关未出具处罚决定书的事实。
了解时效要求：当事人应了解并掌握行政复议和行政诉讼的时效要求，避免错过申请期限。
总结来看，行政处罚不给处罚决定书属于程序违法，当事人可以以此为依据申请撤销该行政处罚。在申请撤销过程中，当事人应了解相关法律依据、撤销条件及途径，并保留相关证据，及时提出申请。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。