特困人员供养金错发的钱应由社会救助管理部门负责追回。以下是对此问题的详细分析：

一. 法律依据

根据《社会救助暂行办法》的相关条款，虽然该法规未直接规定错发特困人员供养金的具体追回责任部门，但结合行政管理的常规逻辑，社会救助管理部门作为负责特困人员供养金发放的主体，理应承担起追回错发资金的责任。

二. 责任分析

1. 社会救助管理部门的责任：

   • 社会救助管理部门负责特困人员供养金的审核、发放及管理工作。
   • 当发生供养金错发情况时，管理部门有责任通过内部审核机制，及时发现并处理误发事件，确保特困人员供养金发放的准确性和公平性。

2. 得利人的义务：

   • 虽然错发并非得利人的过错，但根据诚实信用原则，得利人在得知自己多领了供养金后，应负有配合退回的义务。
   • 得利人拒绝退回错发的供养金，社会救助管理部门有权依法采取相应措施，如提起诉讼等，以追回错发的资金。

三. 追回流程

1. 确认错误并收集证据：

   • 社会救助管理部门需要确认供养金发放的错误，并收集相关证据，如发放记录、得利人的身份信息等。

2. 与得利人沟通：

   • 管理部门应与得利人进行沟通，说明情况并要求其返还错发的供养金。

3. 法律途径：

   • 若得利人拒绝返还，管理部门可以通过法律途径提起诉讼，请求法院判令得利人返还错发的供养金。

四. 我的观点

特困人员供养金错发的钱应由社会救助管理部门负责追回。这是基于社会救助管理部门的职责所在，以及确保特困人员供养金发放的准确性和公平性。同时，得利人也有义务配合退回错发的供养金。

如有进一步需要，您可以继续咨询我。