集资诈骗的钱并不是所有被告都要还，而是由犯罪分子违法所得的一切财物予以追缴或者责令退赔。具体来说：

1. 集资诈骗罪的赃款处理：

   • 根据我国相关法律规定，集资诈骗罪所得非法资产在案件处理过程中，会依法进行追缴并尽可能退还受害人。
   • 集资诈骗罪所涉及的非法吸收的资金被视为违法所得，这部分资金及其转换的财物，在符合一定条件下，将被依法追缴。
   • 如果集资参与人的本金尚未归还，那么之前所支付的利息、分红等回报可以在一定程度上折抵本金。

2. 追缴与退还机制：

   • 公安机关、检察院、法院等司法机关会根据案件具体情况，采取查封、扣押、冻结等措施，确保涉案财物的安全，并依法进行追缴。
   • 追缴集资诈骗资金主要包括：依法追缴集资参与人因非法集资活动所获得的利息、分红等回报；追缴帮助吸收资金人员所获得的代理费、好处费、返点费、佣金、提成等费用。
   • 对于将非法吸收的资金及其转换财物用于清偿债务或转让给他人的情况，如果符合一定条件（如他人明知是非法资金而收取、无偿取得等），也将依法进行追缴。

3. 涉案财物的处置原则：

   • 依法追缴并尽可能退还受害人。
   • 对于查封、扣押、冻结的易贬值及保管、养护成本较高的涉案财物，可以在诉讼终结前依照有关规定进行变卖、拍卖，所得价款由查封、扣押、冻结机关予以保管，待诉讼终结后一并处置。
   • 涉案财物在诉讼终结后，一般应返还给集资参与人。如果涉案财物不足以全部返还给所有受害人，那么将按照集资参与人的集资额比例进行返还。

综上所述，集资诈骗的钱并非由所有被告共同承担偿还责任，而是依据法律规定对犯罪分子的违法所得进行追缴，并尽可能退还给受害人。这一机制旨在保护受害人的合法权益，确保涉案财物得到公正合理的处理。