非法集资案件中，退回的钱一般由负责案件处置的公安机关或法院发还给出借人。具体来说，可以从以下几个角度详细分析：

1. 公安机关的职责：

   • 在非法集资案件的侦查阶段，公安机关会负责追缴涉案财物，包括冻结、扣押、查封等措施，以防止资金被进一步转移或挥霍。
   • 当案件进入处置阶段，如果公安机关被指定为处置工作的牵头部门，那么他们可能会负责将追缴回来的资金按照一定比例发还给受害人，即出借人。这通常是在对涉案财物进行清算、评估后，按照法定程序进行的。

2. 法院的职责：

   • 在非法集资案件进入审判阶段后，法院会依法对案件进行审理，并作出判决。如果判决中涉及对涉案财物的处置，如责令退赔等，那么法院将负责执行这一判决。
   • 在执行过程中，法院会组织对涉案财物进行拍卖、变卖等处置，并将所得款项按照判决要求发还给受害人。这通常是在案件审理终结，且判决生效后进行的。

3. 发还流程与注意事项：

   • 无论是公安机关还是法院发还资金，都需要遵循严格的法律程序和规定。这包括但不限于对涉案财物的清算、评估、拍卖、变卖等环节，以及发还资金的通知、登记、审核等流程。
   • 出借人在收到发还通知后，应按照要求及时办理相关手续，如提供身份证明、银行账户信息等，以便顺利领取退回的资金。
   • 如果出借人对发还金额或发还程序有异议，可以依法向相关部门提出申诉或复议，以维护自己的合法权益。

4. 特殊情况下的处理：

   • 在某些复杂的非法集资案件中，可能涉及多个部门或地区的协作处置。这时，发还资金的部门可能根据案件具体情况和处置工作的需要来确定。
   • 如果涉案财物不足以全额退赔所有出借人，那么发还资金可能会按照一定比例进行分配。这种情况下，出借人应了解并接受这一分配原则，并关注后续可能的补充退赔或资产处置情况。

总结与建议： 非法集资案件中退回的钱的发还部门主要取决于案件的处置阶段和相关部门的工作职责。出借人应密切关注案件进展和发还通知，及时办理相关手续以领取退回的资金。如果对发还金额或程序有异议，可以依法提出申诉或复议。如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我将竭诚为你服务。