核心结论：向被留置人员借过钱这一情况，需要分不同阶段和不同性质来处理，关键在于明确借款行为的合法性、是否涉及利益输送以及后续如何妥善解决债务问题，以下是具体分析：

若借款行为发生在被留置之前且合法合规

1. 债务关系依然有效：从民事法律关系角度，借款合同一旦成立且合法，就受法律保护。即使借款人被留置，其与出借人之间的债权债务关系并不因此消灭。出借人依然有权按照借款合同的约定，要求借款人偿还借款本金及利息（如果合同中有约定且利息符合法律规定）。例如，双方签订了书面借款合同，约定了还款期限和利息，借款人被留置后，出借人可以在还款期限届满后，通过合法途径向借款人主张债权。
2. 还款方式可能受限：由于借款人被留置，其行动自由受到限制，可能无法像正常情况下那样主动还款。此时，出借人可以与借款人的家属沟通，看是否能够通过家属代为还款。如果借款人有财产，也可以与相关部门沟通，看是否可以通过处置借款人的财产来偿还债务，但需要遵循法律规定的程序。比如，如果借款人有银行存款，在符合法律条件的情况下，可以申请法院冻结并划拨该存款用于还款。

若借款行为可能涉及利益输送或违法违规

1. 可能面临法律风险：如果借款行为与被留置的原因存在关联，例如借款人是因为贪污受贿等违法犯罪行为被留置，而出借人与借款人的借款行为实际上是一种利益输送，是为了掩盖不正当的经济往来，那么出借人可能会面临法律风险。在这种情况下，出借人可能会被相关部门调查，甚至可能被追究相应的法律责任。比如，出借人明知借款人利用职务之便谋取利益，还以借款的名义向其提供资金，这种行为可能构成共同违法犯罪。
2. 积极配合调查：如果出借人意识到借款行为可能存在问题，应该积极配合相关部门的调查。如实说明借款的经过、资金来源、用途等情况，争取从轻处理。同时，要保留好相关的证据，如借款合同、转账记录、聊天记录等，以便在调查过程中证明自己的清白。

后续处理建议

1. 保留证据：无论借款行为是否合法合规，出借人都应该保留好与借款相关的所有证据，包括借款合同、借条、转账凭证、聊天记录等。这些证据在后续主张债权或应对可能的法律调查时都非常重要。
2. 咨询专业意见：由于这种情况比较复杂，涉及到法律、纪律等多个方面的问题，出借人可以向我进一步咨询，我会根据具体情况为你提供详细的法律建议和解决方案。
3. 关注案件进展：如果借款人被留置是因为涉嫌违法犯罪，出借人应该关注案件的进展情况。了解借款人的违法犯罪行为是否会对自己的借款债权产生影响，以及如何采取相应的措施来保护自己的合法权益。