非法经营高利贷追缴回来的钱不能直接退给受害人的原因，主要基于以下几点法律逻辑和实务操作考量：

1. 追缴与退赔的法律性质不同：

   • 追缴：在非法经营高利贷的案件中，追缴通常指的是公安机关、检察机关或法院依法对犯罪嫌疑人或被告人非法所得的财物进行查封、扣押、冻结，并最终上缴国库或根据法律规定进行其他处理的行为。追缴的目的是剥夺犯罪者的非法利益，防止其继续从犯罪活动中获益。
   • 退赔：退赔则是指犯罪嫌疑人或被告人因其犯罪行为给被害人造成经济损失的，应当依法予以赔偿。退赔的目的是恢复被害人因犯罪行为而遭受的经济损失，实现法律的公平与正义。
   • 关键区别：追缴是针对非法所得的财物，而退赔是针对被害人因犯罪行为遭受的经济损失。在非法经营高利贷的案件中，追缴回来的钱往往被视为非法所得，而非直接对应于某个具体受害人的经济损失，因此不能直接退给受害人。

2. 非法经营高利贷的特殊性：

   • 非法性：高利贷行为本身往往违反了国家金融管理法规，属于非法经营行为。因此，其所得利息等收益被视为非法所得，应依法予以追缴。
   • 受害人的复杂性：在非法经营高利贷的案件中，受害人可能涉及多个借款人，且每个借款人的借款金额、借款期限、利息支付情况等均可能不同。这导致在追缴回来钱款后，难以直接确定每个受害人应得的退赔金额。
   • 实务操作难度：即使能够确定每个受害人的应得退赔金额，但由于追缴回来的钱款可能涉及多个案件、多个受害人，且可能存在钱款被挥霍、转移等情况，因此实务操作中往往难以直接将追缴回来的钱款退给受害人。

3. 法律程序与救济途径：

   • 刑事附带民事诉讼：在非法经营高利贷的刑事案件中，受害人可以通过提起刑事附带民事诉讼的方式，要求犯罪嫌疑人或被告人赔偿其因犯罪行为遭受的经济损失。法院在审理刑事案件的同时，会一并审理附带民事诉讼部分，并根据查明的事实和法律规定作出判决。
   • 单独提起民事诉讼：如果受害人未在刑事案件中提起附带民事诉讼，或者刑事案件结束后仍有未获赔偿的经济损失，受害人还可以单独向法院提起民事诉讼，要求犯罪嫌疑人或被告人承担赔偿责任。
   • 执行程序：在法院作出判决后，如果犯罪嫌疑人或被告人未履行赔偿义务，受害人可以申请法院强制执行。法院会依法对犯罪嫌疑人或被告人的财产进行查封、扣押、冻结等措施，并拍卖、变卖其财产以清偿债务。

总结与建议：

非法经营高利贷追缴回来的钱不能直接退给受害人，主要是因为追缴与退赔的法律性质不同，以及非法经营高利贷的特殊性和实务操作难度。受害人应通过刑事附带民事诉讼或单独提起民事诉讼的方式，要求犯罪嫌疑人或被告人赔偿其经济损失。在诉讼过程中，受害人应积极提供证据证明其经济损失情况，以便法院能够准确判决并保障其合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。