结论：非法吸收公众存款的钱用于支付借款的，在法律上通常需要退还，但具体是否必须退还以及退还的方式和范围，需结合案件具体情况和法律规定来综合判断。

详细分析：

1. 非法吸收公众存款的法律性质：

   • 非法吸收公众存款是指未经中国人民银行批准，向社会不特定对象吸收资金，出具凭证，承诺在一定期限内还本付息的活动。这种行为扰乱了金融秩序，因此受到法律的严格禁止。

2. 资金用途与退还义务：

   • 当非法吸收的资金被用于支付借款时，这并不改变资金来源的非法性。从法律角度讲，无论资金如何使用，其非法性质不会因用途的改变而消除。
   • 在非法吸收公众存款案件中，如果资金被用于支付借款，且该借款行为本身与非法吸收公众存款行为有关联（如借款人是非法吸收公众存款的参与者或受益人），那么这部分资金在法律上通常需要被追缴并退还给集资参与人。

3. 退还的具体情况与程序：

   • 退还范围：退还的范围通常限于非法吸收的资金及其产生的收益。如果资金已经被用于支付借款，且借款已经到期或无法收回，那么退还的金额可能会受到相应影响。
   • 退还程序：退还程序通常涉及刑事诉讼中的追缴和退赔程序。在案件侦破后，公安机关会依法追缴涉案资金，并按照法定程序退还给集资参与人。如果资金已经被用于支付借款，且借款合同有效，那么可能需要通过民事诉讼程序来解决借款返还问题。

4. 特殊情况下的处理：

   • 如果借款行为本身是合法的，且借款人不知道或不应知道资金来源的非法性，那么借款人可能不需要承担退还义务。然而，在非法吸收公众存款案件中，这种情况较为罕见，因为借款人通常与非法吸收公众存款行为有关联。
   • 如果资金已经被用于支付借款，且借款已经部分或全部偿还，那么退还的金额可能会相应减少。此外，如果借款人能够证明其已经以合理价格转让了财产或支付了合理对价，那么这部分财产可能不会被追缴。

法律建议：

• 对于涉及非法吸收公众存款的借款问题，建议借款人及时咨询专业律师，了解自己的法律义务和风险。
• 如果借款人担心自己的财产可能被追缴或退还，可以提前采取措施保护自己的合法权益，如保留相关证据、与集资参与人协商等。
• 在处理此类问题时，应严格遵守法律规定和程序要求，避免采取不当行为导致法律后果加重。

后续行动建议：

• 如果您或您身边的人涉及此类问题，建议尽快收集相关证据和资料，以便在需要时向律师或相关部门提供。
• 如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供专业的法律意见和建议。