结论：当行政机关在作出不予行政处罚决定后发现新证据，如果新证据足以改变原有决定或证明当事人存在违法行为，行政机关应重新启动调查程序，并在严格遵循法定程序的基础上，根据新证据作出相应的处理决定。

详细分析：

1. 新证据的审查与评估：

   • 行政机关在发现新证据后，首要任务是对这些证据进行全面、客观、公正的审查和评估。这包括确认证据的真实性、合法性和关联性，以及判断这些证据是否具有实质性影响，即能否改变原案件的事实认定或法律判断。

2. 重新启动调查程序：

   • 如果新证据被确认具有重要性，行政机关应正式重新启动调查程序。这一过程中，行政机关需要全面收集与案件相关的所有证据，包括新发现的证据及其可能引发的其他关联证据。同时，必须严格遵守法定程序，确保调查的公正性和合法性，并充分保障当事人的陈述权、申辩权等合法权益。

3. 通知与回应：

   • 行政机关应及时将重新调查的情况及新证据告知当事人，并给予其合理的机会进行回应和申辩。当事人有权对新证据提出异议，并提供相关证据材料支持自己的观点。这是保障当事人合法权益的重要环节。

4. 作出新的处理决定：

   • 经过重新调查，如果新证据确实能够证实当事人的违法行为，且该违法行为符合行政处罚的条件，行政机关应依法作出新的行政处罚决定。新决定应基于事实和法律，选择适当的处罚种类和幅度，并明确告知当事人救济途径和期限。如果新证据表明当事人存在新的违法行为，行政机关应针对该新行为依法展开调查和处理。

5. 内部复查与记录：

   • 行政机关内部应启动复查程序，对新证据及整个决策过程进行仔细审查，确保决策的准确性和合法性。同时，整个处理过程应详细记录，包括新证据的审查、评估、决策过程及结果，以备后续参考或审计。

6. 遵循法定程序与报告：

   • 在作出任何新的决定时，行政机关必须严格遵守相关法律法规和程序规定，确保决策的合法性和公正性。如需，应向相关部门或上级机构报告整个处理过程及结果。

7. 当事人的救济途径：

   • 当事人对重新作出的行政处罚决定不服的，可以依法申请行政复议或提起行政诉讼。在行政复议或诉讼过程中，当事人有权提出自己的主张和证据，要求复议机关或人民法院对行政机关的处罚决定进行审查。

特别注意事项：

• 不同地区的法律体系和行政程序可能存在差异，因此在具体操作时应参考当地的法律法规和行政规章。
• 在处理这类问题时，由于涉及复杂的法律程序和证据规则，建议直接向我咨询，以确保决策的准确性和合法性。

综上所述，行政机关在处理不予行政处罚决定后发现新证据的情况时，应严格遵循法定程序，全面、客观、公正地审查和评估新证据，并根据新证据作出相应的处理决定。同时，应充分保障当事人的合法权益，确保其享有充分的陈述权、申辩权和救济途径。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。