结论：是否需要退钱取决于多个因素，包括你是否知晓犯罪分子使用非法所得购买你的东西、交易时的具体情况以及你是否构成善意取得等。以下从不同角度为你详细分析：
一、若你不知晓且构成善意取得
法律背景：
- 善意取得是指无权处分人将其受托占有的他人的财物转让给第三人的，如受让人在取得该财物时系出于善意，则受让人取得该物的所有权，原权利人丧失所有权。
- 在交易中，如果你对犯罪分子使用非法所得购买你的东西并不知情，且交易价格合理，没有明显的恶意或过失，那么你可能构成善意取得。
法律建议：
- 在这种情况下，你无需退钱给原权利人（即犯罪分子非法所得的真正主人），因为法律保护善意第三人的利益。
- 如果原权利人向你主张权利，你可以提供交易时的相关证据（如交易记录、聊天记录等）来证明你的善意取得。
二、若你知晓或应知犯罪分子使用非法所得
法律背景：
- 如果你在交易时知晓或应当知晓犯罪分子使用的是非法所得，那么你的交易行为可能构成非法交易或协助犯罪分子转移财产。
- 在这种情况下，原权利人有权要求你返还非法所得或赔偿损失。
法律建议：
- 如果你确实知晓或应当知晓交易存在非法性，建议你主动与原权利人协商解决，避免法律纠纷。
- 如果原权利人已经向你提起诉讼或报警，你应积极配合调查，提供相关证据，并考虑咨询专业律师以维护自己的合法权益。但在此情况下，退钱给原权利人可能是避免更严重法律后果的一种选择。
三、交易时的具体情况
交易价格：
- 如果交易价格明显低于市场价，可能引发对交易合法性的质疑。在这种情况下，即使你不知晓犯罪分子使用非法所得，也可能面临法律风险。
交易方式：
- 如果交易方式存在异常（如匿名交易、现金交易等），也可能增加交易的风险性。在这种情况下，你需要更加谨慎地处理交易事宜。
四、后续行动建议
保留证据：
- 无论你是否需要退钱，都应保留好交易时的相关证据（如交易记录、聊天记录、转账记录等），以备不时之需。
咨询律师：
- 如果你对交易合法性存在疑问或面临法律纠纷，建议及时咨询专业律师。律师可以根据你的具体情况提供法律建议和帮助。
配合调查：
- 如果相关部门或原权利人对你进行调查或询问，你应积极配合并提供相关证据。这有助于澄清事实并维护你的合法权益。
最后，每个案件的具体情况都有所不同，因此上述分析仅供参考。如果你面临类似问题或有其他法律疑问，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议和帮助。