结论：在刷单导致银行卡被用于洗钱且被异地冻结的情况下，是否应将钱退给受害人，需根据具体情况判断，但通常不建议直接退还，而应通过法律程序处理。以下从不同角度为你详细分析：
一、法律责任角度
刷单行为的违法性：
- 刷单本身是一种违法行为，它扰乱了市场秩序，损害了其他经营者的合法权益。根据《中华人民共和国电子商务法》等相关法律法规，刷单行为可能面临行政处罚，甚至可能构成犯罪（如非法经营罪等，具体需根据情节严重程度判断）。
银行卡被用于洗钱的法律责任：
- 如果你的银行卡被他人用于洗钱，而你对此并不知情，那么你通常不构成洗钱罪的共犯。但是，如果你明知或应知银行卡被用于非法活动，如洗钱，而仍然提供帮助，那么你可能构成洗钱罪的共犯，需要承担相应的刑事责任。
退还钱款的法律性质：
- 直接退还钱款给受害人可能涉及无权处分的问题。因为这笔钱可能已经被公安机关冻结，作为涉案财物进行处理。在未经法律程序确认的情况下，直接退还可能构成对涉案财物的非法处置，甚至可能涉及新的违法行为。
二、实际操作角度
配合公安机关调查：
- 在银行卡被冻结后，你应积极配合公安机关的调查工作，提供相关证据和线索，以证明自己与洗钱行为无关。这是解决此类问题的关键步骤。
通过法律程序处理：
- 如果公安机关确认你与洗钱行为无关，且银行卡内的资金确实属于你合法所有，那么你可以通过法律程序申请解冻银行卡，并取回自己的资金。在这个过程中，如果受害人提出了合理的赔偿请求，且经过法律程序确认你需要承担赔偿责任，那么你可以在法律框架内进行赔偿。
避免直接退还的风险：
- 直接退还钱款给受害人可能存在诸多风险。例如，受害人可能并非真正的受害者，或者退还的钱款可能无法真正到达受害者手中。此外，直接退还还可能影响你对自身合法权益的维护。
三、类似经历与建议
类似经历：
- 虽然每个人的具体情况可能不同，但确实存在类似的情况。有些人因为刷单或出租、出借银行卡等行为，导致银行卡被用于非法活动并被冻结。在这些情况下，他们通常都需要通过法律程序来解决问题。
建议：
- 立即停止刷单行为：避免进一步陷入法律风险。
- 积极配合调查：向公安机关如实陈述情况，提供相关证据。
- 咨询专业律师：在处理此类复杂法律问题时，寻求专业律师的帮助是非常重要的。我可以为你提供专业的法律意见和指导，帮助你更好地维护自己的合法权益。
总结：在刷单导致银行卡被用于洗钱且被异地冻结的情况下，不建议直接退还钱款给受害人。而应通过法律程序来处理问题，包括配合公安机关调查、申请解冻银行卡等。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。