结论：非法集资所得的钱，警察不能直接充公，受害人可以申请退钱，但具体能否退还以及退还的比例和方式，需根据案件的具体情况、追缴到的资金情况以及法院的判决来确定。

详细分析：

1. 警察不能直接充公非法集资所得：

   • 根据我国相关法律规定，对于非法集资所得的资金，警方在侦查过程中会进行查封、扣押、冻结等措施，但这些资金并不会直接由警方“充公”或没收。
   • 警方的主要职责是收集证据、查明事实，并将案件移送至检察机关审查起诉。对于非法集资所得的资金，警方会依法进行保管，等待法院的最终判决。

2. 受害人可以申请退钱：

   • 在非法集资案件中，受害人作为案件的受害方，有权向法院提出退赔申请。
   • 法院在审理案件时，会根据案件的具体情况、追缴到的资金情况以及受害人的损失情况，来决定是否退赔以及退赔的比例和方式。
   • 如果法院判决退赔，那么受害人就有可能获得部分或全部的退赔款项。

3. 退赔的具体情况和影响因素：

   • 案件具体情况：包括非法集资的规模、手段、持续时间等，这些因素会影响法院对案件的定性以及退赔的判决。
   • 追缴到的资金情况：如果警方能够成功追缴到大量的非法集资所得资金，那么受害人获得退赔的可能性就会增加。
   • 受害人的损失情况：法院会根据受害人的实际损失情况来决定退赔的比例和方式。如果受害人的损失较大，且追缴到的资金足够，那么受害人有可能获得较高的退赔比例。

4. 实际操作中的注意事项：

   • 受害人应及时向警方报案，并提供相关证据材料，以便警方能够尽快查明事实并追缴资金。
   • 受害人应关注案件的进展情况，及时了解法院的判决结果，并根据判决结果向相关部门申请退赔。
   • 如果受害人对法院的判决结果有异议，可以在法定期限内提出上诉或申诉。

建议：

• 如果您或您身边的人遭遇了非法集资案件，建议尽快向警方报案，并提供相关证据材料。
• 在案件处理过程中，保持与警方的沟通联系，及时了解案件的进展情况。
• 如果对案件处理结果有疑问或不满，可以寻求专业律师的帮助，通过法律途径维护自己的合法权益。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。