根据《行政处罚法》及相关规定，当出现以下情形时，应当进行行政处罚的法制审核：
涉及重大公共利益：
- 这通常指的是那些影响广泛、深远，涉及到不特定多数人的利益，或者对社会经济、政治、文化等方面有重大影响的案件。例如，涉及大规模的土地开发、公共设施建设等，一旦处理不当，可能给公共利益造成重大损失的案件。
直接关系当事人或者第三人重大权益，且经过听证程序：
- 当行政处罚决定将直接影响到当事人或第三人的重大权益，如责令停产停业、吊销许可证、大额罚款等，并且这些案件已经通过了听证程序，那么在进行处罚决定前，需要进行法制审核。
案件情况疑难复杂、涉及多个法律关系：
- 对于那些案情复杂，涉及多个法律条文、法律关系交织，处理起来需要高度专业知识和法律素养的案件，也需要进行法制审核，以确保处罚决定的准确性和合法性。
法律、法规规定应当进行法制审核的其他情形：
- 这是一个兜底条款，涵盖了除上述三种情形外，其他法律、法规明确规定的需要进行法制审核的情形。
此外，还有一些具体的情形也可能需要法制审核，如：
- 可能造成重大影响或者引发社会风险的案件；
- 拟作出低于或高于自由裁量权标准，减轻或加重处罚的决定；
- 法律适用存在异议，或者法制机构核审意见与办案机构意见有分歧的案件；
- 上级机关决定下级机关重新审查的案件；
- 依据法律规定需要移送公安机关对相关人员处以行政拘留，或者行政执法决定涉嫌犯罪需要移送司法机关的案件等。
进行法制审核时，审核人员会对行政执法主体、执法人员资格、执法程序、案件事实、证据、适用法律、裁量基准、行政执法文书等方面进行全面审查，以确保行政处罚决定的合法性、合理性和规范性。