结论：在面临“无行政处罚依据但不应免除处罚”的情况时，应当明确指出行政处罚必须依法进行，若确实缺乏处罚依据，则不能随意处罚；但若存在应处罚的情形而未处罚，则可能涉及行政不作为或法律适用错误，需通过合法途径寻求救济或纠正。以下是对此问题的详细分析：

一、行政处罚的法律依据原则

行政处罚必须严格依照法律、法规或规章的规定进行，这是行政法治原则的基本要求。若没有明确的法律依据，行政机关不得对公民、法人或其他组织实施行政处罚。这一原则确保了行政处罚的合法性和公正性，防止了行政权力的滥用。

法律解释：

• 合法性原则：行政处罚的设定和实施必须符合法律规定，没有法律依据的行政处罚是无效的。
• 公正性原则：行政处罚应当公平、公正，确保相同情况得到相同处理，避免任意性和歧视性。

二、无行政处罚依据的情况

若确实没有行政处罚的依据，即法律、法规或规章中未规定对某种行为可以实施行政处罚，那么行政机关就不能对该行为进行处罚。这是行政法治原则的直接体现，也是保护公民、法人或其他组织合法权益的重要保障。

法律后果：

• 不得处罚：无依据的处罚是违法的，被处罚人有权申请行政复议或提起行政诉讼，要求撤销或确认该处罚无效。
• 责任追究：若行政机关违法实施无依据的处罚，相关责任人员可能面临行政处分或法律责任。

三、应处罚但未处罚的情况

若存在应处罚的情形，但行政机关因各种原因（如疏忽、错误理解法律等）未实施处罚，则可能构成行政不作为或法律适用错误。这种情况下，被侵害的权益人或相关利益方可以通过合法途径寻求救济或纠正。

法律救济途径：

1. 申请行政复议：向作出行政行为的上一级行政机关或法律规定的行政复议机关提出复议申请，要求复议机关审查原行政行为的合法性，并作出复议决定。
2. 提起行政诉讼：若对行政复议结果不满或行政机关未在法定期限内作出复议决定，可以向人民法院提起行政诉讼，要求法院审查原行政行为的合法性，并作出判决。

法律建议：

• 收集证据：在寻求救济前，应尽可能收集相关证据，证明存在应处罚的情形而行政机关未处罚。
• 咨询专业律师：由于法律程序复杂且专业性强，建议咨询专业律师，以获取更具体的法律建议和帮助。

四、特殊情况下的处理

在某些特殊情况下，如法律、法规或规章正在修订或制定过程中，或存在法律解释、司法解释等情形，可能暂时无法直接依据现有法律进行处罚。此时，行政机关应依据法律原则、立法精神或相关解释进行谨慎处理，并在法律完善后及时补正。

处理原则：

• 谨慎处理：在法律不明确或存在争议时，行政机关应谨慎行使权力，避免造成不必要的法律纠纷。
• 及时补正：一旦法律完善或明确后，行政机关应及时对之前未处罚的行为进行补正处理。

总结来说，行政处罚必须依法进行，无依据不得处罚；若存在应处罚的情形而未处罚，则可能构成行政不作为或法律适用错误，需通过合法途径寻求救济或纠正。在处理此类问题时，应严格遵守法律原则和程序要求，确保行政处罚的合法性和公正性。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。