结论：您让别人参与非法集资，最后自己也赔钱了，一般情况下，您没有主张退回钱的合法权力，但在特定情形下可能存在例外。以下为您详细分析：

一、非法集资行为的法律定性

非法集资是指未经有关部门依法批准，包括没有批准权限的部门批准的集资；有审批权限的部门超越权限批准集资，即集资者不具备集资的主体资格，承诺在一定期限内给出资人还本付息。还本付息的形式除以货币形式为主外，也有实物形式和其他形式；向社会不特定的对象筹集资金。这里“不特定的对象”是指社会公众，而不是指特定少数人；以合法形式掩盖其非法集资的实质。非法集资行为严重扰乱了国家的金融秩序，损害了社会公众的利益，因此受到法律的严厉禁止。

二、您主张退回钱的一般情况分析

1. 从非法集资的本质来看：非法集资活动本身是违法的，参与非法集资的资金往往被用于非法用途，如高利贷、非法投资等，这些资金很难通过合法途径追回。而且，非法集资的参与者往往也是基于追求高额回报的目的而参与，他们应当对自己的行为承担一定的风险。因此，在一般情况下，您作为非法集资的参与者之一，没有合法的权力主张退回您投入的资金。
2. 从法律责任的角度来看：如果您是非法集资的组织者或主要参与者，您可能需要承担相应的法律责任，包括刑事责任和民事责任。在这种情况下，您不仅无法主张退回资金，还可能面临法律的制裁和赔偿受害者损失的责任。

三、可能存在的例外情形

1. 如果您能证明自己也是受害者：虽然您参与了非法集资，但如果您能提供充分的证据证明自己也是被欺骗或误导的受害者，且没有从中获取非法利益，那么在某些情况下，您可能有机会通过法律途径追回部分或全部损失。但这需要您积极配合相关部门的调查，并提供确凿的证据。
2. 如果非法集资组织者或相关责任人被追缴到资金：在非法集资案件中，如果相关部门能够追缴到非法集资组织者或相关责任人的资金，那么这些资金可能会按照一定的比例返还给受害者。但这种情况下的返还比例往往较低，且需要经过复杂的法律程序和时间成本。

四、法律建议

1. 立即停止参与非法集资活动：如果您还在参与非法集资活动，应立即停止，并尽快向相关部门报告，以便及时止损和配合调查。
2. 积极配合相关部门的调查：如果您已经参与了非法集资活动并遭受了损失，应积极配合相关部门的调查工作，提供必要的证据和信息，以便相关部门能够尽快追缴资金并返还给受害者。
3. 寻求法律援助：如果您在追回损失的过程中遇到困难或需要法律帮助，可以向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。

最后，非法集资活动存在很大的风险性和不确定性，参与非法集资往往会导致血本无归。因此，我建议您在未来的投资活动中要谨慎选择投资项目，避免参与非法集资等违法活动。如果您有任何法律问题或需要进一步的法律帮助，请随时向我咨询。