当行政处罚案件出现错误，且当事人已经履行了该处罚时，行政机关应当采取积极措施进行纠错，以维护法律的公正性和当事人的合法权益。以下是对此问题的详细解答：

一、行政机关自我纠正

行政机关在发现其作出的行政处罚决定存在错误时，应主动启动纠错程序。这包括但不限于以下几种情形：

1. 事实认定错误：如行政处罚决定缺乏必要的证据支持，或原有证据被证明不真实，行政机关应撤销原处罚决定，并重新进行调查取证。
2. 适用法律错误：若适用了错误的法律条款，或对法律规定理解有误，导致处罚决定不符合相关法律法规，行政机关应重新适用正确的法律条款，并作出新的处罚决定。
3. 程序违法：如未履行告知义务、未给予当事人陈述和申辩的机会，或违反了其他法定程序，行政机关应撤销原处罚决定，并重新履行相关程序。
4. 处罚明显不当：若处罚结果与违法行为的性质、情节和社会危害程度不相适应，显失公正，行政机关应调整处罚结果，确保处罚的公正性和合理性。

在自我纠错过程中，行政机关应确保程序的合法性和正当性，充分保障当事人的合法权益，并对因行政处罚错误给当事人造成的损失依法予以赔偿。

二、上级行政机关或有关机关责令改正

若行政机关未能自行纠正错误，当事人可以向上级行政机关或有关机关申诉或检举。一旦认定行政处罚错误，上级行政机关或有关机关将责令下级行政机关改正，并可能对直接负责的主管人员和其他直接责任人员依法给予处分，如警告、记过、降级、撤职等。

三、行政复议与行政诉讼

1. 行政复议：当事人若认为行政处罚有误，可以在知道该行政处罚决定之日起六十日内（法律规定的申请期限超过六十日的除外）向上一级行政机关申请行政复议。复议机关会对原行政处罚决定的合法性和合理性进行全面审查，并根据审查结果作出相应的复议决定，如撤销、变更或确认该行政处罚决定违法。
2. 行政诉讼：若对行政复议决定不服，或在知道作出行政处罚决定之日起六个月内（若先申请行政复议，则为收到复议决定书之日起十五日内；复议机关逾期不作决定的，为复议期满之日起十五日内），当事人可以向人民法院提起行政诉讼。人民法院将对行政处罚决定进行合法性审查，并根据审理结果作出相应的判决，如撤销或部分撤销行政处罚决定。

四、申请国家赔偿

若错误的行政处罚给当事人造成了人身或财产损害，当事人还可以向赔偿义务机关（即作出错误行政处罚的行政机关）提出国家赔偿申请。赔偿义务机关应在两个月内作出是否赔偿的决定。若逾期不予赔偿或赔偿请求人对赔偿数额有异议，当事人可以向人民法院提起诉讼。

五、注意事项

在纠正行政处罚错误的过程中，当事人应保留好相关证据，如行政处罚决定书、证明自身合法权益的材料等，以便更好地维护自身权益。同时，行政机关也应加强内部监督和管理，提高执法水平和质量，以减少错误行政处罚的发生。

综上所述，面对错误的行政处罚决定，行政机关应积极履行自我纠正和上级责令改正的职责，当事人也可以通过行政复议、行政诉讼和国家赔偿等途径寻求救济和纠正。