针对您提出的“银行卡被异地解冻要求退钱回去，不还怎么办”的问题，这是一个涉及法律程序和银行规定的问题，需要您谨慎处理。以下是我为您提供的详细解答和建议：

一、了解冻结原因

首先，您需要明确银行卡被异地冻结的具体原因。这通常涉及到司法机关的调查，如涉及诉讼案件、违法犯罪调查或债务纠纷等。您可以通过联系银行客服或直接联系冻结机关（如公安机关）来了解冻结的具体原因和期限。

二、配合调查并提供证据

1. 联系冻结机关：一旦了解到冻结原因，您应尽快联系发出冻结令的公安机关或法院，了解具体的情况和处理方式。
2. 提供证据：根据冻结机关的要求，您可能需要提供转账记录、银行流水等证据，以证明资金来源的合法性。如果您确实不知情且无过错，应如实陈述交易背景，并提供相关证据。

三、关于退钱的要求

1. 核实要求合法性：如果冻结机关要求您退还收到的款项，您需要核实这一要求的合法性。通常，如果款项确实涉及非法活动或欺诈行为，您可能需要配合退还。
2. 咨询法律意见：在决定是否退还之前，建议您咨询专业的法律意见。律师可以帮助您分析情况，提供法律建议，并保护您的合法权益。

四、不还钱的后果及建议

1. 法律后果：如果您拒绝退还涉及非法活动的款项，可能会面临法律后果，如被追究法律责任或影响个人征信记录。
2. 积极沟通：我建议您与冻结机关保持积极沟通，解释您的立场和困难。如果您确实无法立即退还，可以提出分期退还或其他合理的解决方案。
3. 寻求法律援助：如果您对处理此类问题感到困惑或不确定，可以考虑寻求专业的法律援助。律师可以为您提供法律支持，帮助您应对可能的法律纠纷。

五、预防措施

1. 保护个人信息：避免将银行卡信息泄露给他人，防止被不法分子利用。
2. 谨慎交易：在进行交易时，务必确认对方的身份和交易背景，避免涉及非法活动。
3. 定期检查账户：定期检查您的银行账户，及时发现并处理异常交易。

总之，面对银行卡被异地解冻并要求退钱的情况，您需要保持冷静，了解冻结原因，配合调查并提供证据。在决定是否退还之前，务必咨询专业的法律意见。同时，采取预防措施以保护您的个人信息和资金安全。希望这些建议能对您有所帮助。