行政处罚证据不足时，行政机关应当依法撤销或不予处罚，被处罚人也可通过法定程序维护权益。具体处理方式如下：

1. 行政机关主动纠正
   根据《行政处罚法》第四十条，行政机关必须查明事实，违法事实不清、证据不足的，不得给予行政处罚。若行政机关在调查过程中发现证据不足，应主动终止处罚程序；若已作出处罚决定，需通过内部监督程序（如行政复议或自我纠错机制）撤销原决定，避免程序违法风险。

2. 被处罚人申请救济

   • 行政复议：被处罚人可在收到处罚决定书之日起60日内向上一级行政机关或本级政府申请复议，复议机关将审查证据充分性，若证据不足将撤销处罚（《行政复议法》第二十八条）。
     
   • 行政诉讼：被处罚人可在6个月内直接向法院起诉，法院将全面审查证据，若认定证据不足将判决撤销或变更处罚（《行政诉讼法》第七十条）。
     
   • 陈述申辩权：在处罚决定作出前，被处罚人可提出书面或口头申辩，要求行政机关补充证据或终止程序（《行政处罚法》第四十四条）。

3. 证据补强规则
   若行政机关在处罚后补充证据，需满足以下条件：

   • 补充证据需在行政程序终结前已存在，仅因客观原因未及时收集；
     
   • 补充证据需经法定程序质证，确保被处罚人知情权与申辩权；
     
   • 不得以“事后取证”替代处罚前的法定调查义务，否则仍属程序违法。

4. 实务建议

   • 对行政机关：建立证据审查清单，在处罚决定作出前由法制部门独立审核证据链完整性，避免程序倒流风险。
     
   • 对被处罚人：收到处罚决定后立即固定证据（如现场照片、证人联系方式），在复议或诉讼中重点攻击行政机关证据的“三性”（真实性、关联性、合法性），例如指出关键证据缺失、取证程序违法（如未出示执法证件）等。

若您面临具体案件，可提供处罚决定书内容、证据清单等材料，我将进一步分析证据瑕疵类型及救济策略。