非法集资赚的钱是需要退还的。以下是对此问题的详细分析：

法律依据

1. 《防范和处置非法集资条例》：明确规定非法集资人及协助人有义务向集资参与人清退集资资金，遵循“谁集资谁负责清退”的原则。
2. 《关于办理非法集资刑事案件适用法律若干问题的意见》：指出向社会公众非法吸收的资金属于违法所得，应予以追缴或责令退赔。

退钱流程与原则

1. 案件侦破与资产查封：公安机关在侦破非法集资案件后，会依法查封、扣押、冻结涉案财物。
2. 司法审计与确认损失：司法机关对非法集资的金额、参与人数、损失情况进行详细审计和确认。
3. 资产处置与退赔：司法机关根据案件实际情况，对查封的资产进行处置，并按比例退赔给受害者。

影响退钱的关键因素

1. 资金追回情况：若非法集资人将资金挥霍或难以追回，集资参与人可能无法全额收回本金。
2. 参与人数与金额：参与人数众多、涉及金额巨大时，每个人能够收回的资金可能相对有限。
3. 资产处置难度：非法集资人可能将资金投资于难以变现的资产，影响资金清退的进度和金额。

特殊情况说明

• 如果集资参与者已经偿还本金，则所支付的利息或酬劳可折抵未还本金部分。
• 在处理非法集资事件的过程中，非法获取的财产会首先被政府没收，然后再根据债务和风险清理情况，按比例退还给集资参与人。

建议与警示

• 积极配合调查：集资参与人应积极配合公安机关的调查工作，提供相关证据材料，以便尽快确定损失金额并获得退赔。
• 提高警惕：公众应远离任何形式的非法集资活动，保护自己的财产安全。
• 理性投资：在进行投资前，应充分了解投资项目的真实性和合法性，避免盲目跟风投资。

综上所述，非法集资赚的钱是需要退还的，具体退还比例和金额需根据案件侦办进展、资金追回情况以及法律规定来确定。如果您遭遇非法集资或对此有更多疑问，可以直接向我咨询。