非法集资非法所得原则上必须退回，但在某些特殊情况下可能无法全额退回。以下是对这一问题的详细分析：
一、非法所得必须退回的法律依据
根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这一法律条款明确了司法机关对于非法所得的追缴权力和责任，也体现了非法所得必须退回的法律要求。非法所得，无论其来源如何，都是通过违反法律、规章等方式获得的金钱和财产，必须全额退还，这是法律规定的明确义务。
二、非法所得退回的具体情况
能够全额退回的情况：
- 当司法机关在案发后及时对非法集资的相关资产进行查封、扣押、冻结，并能清晰追踪资金流向时，会依法对涉案财物进行追缴和处置。案件终结后，会按一定比例将清退资金返还给集资参与人。这种情况下，如果资金未被挥霍或转移，且涉案资产足够覆盖集资参与人的损失，那么非法所得有可能全额退回。
难以全额退回或无法退回的情况：
- 若非法集资人已将资金挥霍，如用于赌博、高档消费等，导致资金难以追回，或没有足够的资产用于清退，集资参与人的损失可能无法得到全部弥补。
- 如果非法集资款项被投入到高风险项目或虚假项目中，导致投资失败，也没有足够的资金用于返还给集资参与人。
- 在某些特殊情形下，可能存在无法全部退缴的情况，例如非法所得已经被消耗且无法追回，或者由于客观原因导致部分非法所得难以查明去向等。在这些情况下，司法机关依然会在力所能及的范围内要求退缴，并对剩余部分继续追缴。
三、非法所得退回的流程与注意事项
退回流程：
- 非法集资款的退还流程通常包括登记集资信息、资产清收与保全、制定返款方案等步骤。专案组会对涉案企业（个人）的债权进行清收，资产进行保全，并通过拍卖等方式变现，用于集资款的清退。
注意事项：
- 非法集资是违法行为，参与者应自行承担因参与非法集资活动而受到的损失。政府在处理非法集资案件时会尽力追缴非法所得并退赔给受害者，但具体能追回多少资金需视案件具体情况而定。
- 在面临非法所得问题时，建议犯罪嫌疑人、被告人及其家属积极配合司法机关的工作，主动退还非法所得，以争取更好的法律后果。
四、法律后果与建议
法律后果：
- 如果拒不退还非法所得，可能会面临更严厉的刑罚。在量刑时，法官通常会将犯罪嫌疑人、被告人是否主动退还非法所得作为从轻处罚的情节予以考虑。相反，如果拒不退还，则可能失去这一从轻处罚的机会。
建议：
- 对于集资参与人而言，应提高警惕，避免陷入非法集资的陷阱。在参与任何投资活动时，都应仔细甄别其合法性，以保护自己的财产安全。
- 对于犯罪嫌疑人、被告人而言，应深刻认识到非法所得必须退回的法律义务，积极配合司法机关的工作，主动退还非法所得，以争取更好的法律后果。
综上所述，非法集资非法所得原则上必须退回，但在某些特殊情况下可能无法全额退回。这取决于案件的具体情况、资金追回的可能性以及司法程序的进展。如果您或身边人遭遇非法集资问题，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。