受害人被骗的钱并不一定就拿不回来了，即便非法集资罪犯拒不交待赃款去向。以下是从不同角度对此问题的详细分析：

1. 法律追缴与退赔程序：

   • 根据我国《刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这意味着，即使罪犯拒不交待赃款去向，司法机关仍会通过法律手段进行追缴和退赔工作。
   • 司法机关会依法对罪犯的财产进行查封、扣押、冻结，并调查其财产来源和去向，以尽可能追回被骗资金。

2. 罪犯的供述并非唯一证据：

   • 虽然罪犯的供述是查明赃款去向的重要线索，但并非唯一证据。司法机关还可以通过其他证据，如银行交易记录、证人证言、电子数据等，来追踪赃款的流向。
   • 在实践中，即使罪犯拒不供述，司法机关也能通过其他证据链条成功追回部分或全部赃款。

3. 受害人的权利与救济途径：

   • 受害人有权向司法机关报案，并提供相关证据和信息，协助司法机关追缴赃款。
   • 如果司法机关成功追回赃款，会按照法定程序返还给受害人。如果赃款无法全部追回，受害人还可以通过民事诉讼途径，向罪犯提起民事赔偿诉讼，要求其赔偿损失。

4. 实际案例与司法实践：

   • 在许多非法集资案件中，即使罪犯拒不交待赃款去向，司法机关仍通过深入调查和证据收集，成功追回了部分或全部赃款，并返还给了受害人。
   • 当然，也存在一些案件由于赃款已被挥霍或转移至境外等原因，导致无法全部追回。但即便如此，司法机关仍会尽最大努力追缴和退赔，以维护受害人的合法权益。

建议与行动：

• 作为受害人，您应积极配合司法机关的调查工作，提供相关证据和信息，协助司法机关追缴赃款。
• 同时，您也可以关注案件的进展情况，及时了解司法机关的追缴和退赔工作动态。
• 如果您对案件处理有疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据您的具体情况提供专业的法律意见和建议。