行政机关发现处罚决定错误是可以撤回的。以下是对此结论的详细阐述：

1. 撤回的条件：

   • 行政处罚决定存在错误，这包括但不限于事实认定错误、证据不足、适用法律错误、违反法定程序以及滥用职权或显失公正等情况。
   • 如果行政处罚所依据的事实、证据、法律或程序存在任何问题，导致处罚决定不合法或不公正，行政机关就有权撤回该处罚决定。

2. 撤回的程序：

   • 行政机关需要启动内部纠错程序，对错误的行政处罚进行审查。
   • 经过审批后，行政机关需制作撤销决定书，并依法送达当事人。
   • 撤销决定书中应明确说明撤销的理由和依据，以及撤销后的法律效果。

3. 撤回后的法律效果：

   • 行政处罚决定书被撤销后，其法律效力自始不存在。
   • 当事人不再需要履行该处罚决定所规定的义务。
   • 如果因行政处罚行为给当事人造成了损害，行政机关还应当依法承担赔偿责任。

4. 注意事项：

   • 行政机关在撤回处罚决定时，必须确保撤回决定本身合法、公正，并遵循法定程序。
   • 撤回决定不应损害当事人的合法权益，也不应影响行政处罚的严肃性和权威性。
   • 如果当事人对撤回决定有异议，可以通过行政复议或行政诉讼等途径进行救济。

综上所述，行政机关在发现处罚决定错误时，是可以依法撤回的。但撤回决定必须遵循法定程序，并确保撤回后的法律效果合法、公正。如果您在此方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。