结论：非法集资退赃一般不可以少退，但在特定情况下可能存在例外。

一、非法集资退赃的基本原则

在非法集资案件中，退赃是犯罪嫌疑人或被告人承担刑事责任和民事责任的重要环节。根据相关法律法规，非法集资的犯罪嫌疑人或被告人应当将其非法所得的全部或部分退还给受害人，以弥补受害人的损失。这一原则体现了法律对犯罪行为的惩罚和对受害人权益的保护。

二、非法集资退赃不可以少退的一般情况

1. 法律义务：非法集资的犯罪嫌疑人或被告人有义务退还其非法所得。这是法律规定的责任，必须履行。如果试图少退或不退，将可能面临更严厉的法律制裁。
2. 量刑考虑：在刑事审判中，退赃情况是法官考虑量刑的重要因素之一。如果犯罪嫌疑人或被告人能够积极退赃，表现出悔罪态度，有可能获得从轻或减轻处罚的机会。相反，如果试图少退或不退，将可能失去这一量刑优惠。
3. 民事赔偿：非法集资案件往往涉及众多受害人，他们的损失需要得到赔偿。如果犯罪嫌疑人或被告人少退赃款，将导致部分受害人无法获得应有的赔偿，这显然是不公平的，也可能引发社会不稳定因素。

三、非法集资退赃可能存在例外的特定情况

1. 经济能力限制：如果犯罪嫌疑人或被告人确实因为经济能力限制而无法全额退赃，他们可以向法院说明情况，并提供相关证据。在这种情况下，法院可能会根据实际情况，允许其分期退赃或退还部分赃款。但需要注意的是，这并不意味着可以随意少退或不退，而是需要在法院的监督下进行。
2. 赃款去向不明：在某些情况下，非法集资的赃款可能已经被挥霍或转移，导致无法全额追回。在这种情况下，犯罪嫌疑人或被告人可能需要承担一定的责任，但具体退赃金额需要根据实际情况和法院的判决来确定。
3. 其他特殊情况：如犯罪嫌疑人或被告人存在重大立功表现、自首等情节，或者案件存在其他特殊情况，法院可能会在量刑和退赃方面给予一定的考虑和优惠。但这些情况都需要根据具体案件和法律规定来判断。

四、法律建议

1. 积极配合调查：如果你或你身边的人涉及非法集资案件，建议积极配合相关部门的调查工作，如实说明情况，提供相关证据。
2. 尽力退赃：在可能的情况下，尽力退还非法所得，以表现悔罪态度，争取从轻或减轻处罚的机会。
3. 寻求法律帮助：如果你对非法集资退赃问题存在疑问或困惑，建议及时咨询专业律师，了解相关法律规定和程序，以便更好地维护自己的合法权益。

最后，如果你有任何关于非法集资或其他刑事案件的法律问题，都可以直接向我咨询。