商家以退回的不是他们家的商品为理由不退款，这种做法并不一定合法，具体要看实际情况和证据。以下是从不同角度为你详细分析的情况及建议：
一、商家行为合法性分析
若商家理由成立：
- 如果商家能够提供充分证据，证明你退回的商品确实不是他们出售的，或者商品在退回过程中被调换、损坏，那么商家有权拒绝退款。
- 在这种情况下，你需要检查自己的退货过程，确认是否有可能在退货过程中出现了商品被调换或损坏的情况。
若商家理由不成立：
- 如果商家无法提供充分证据，或者你能够提供证据证明退回的商品确实是商家出售的，并且符合退货条件，那么商家的拒绝退款行为就是违法的。
- 根据《中华人民共和国消费者权益保护法》第五十二条，经营者提供商品或者服务，造成消费者财产损害的，应当依照法律规定或者当事人约定承担退货、退款等民事责任。
二、消费者应对措施
与商家再次沟通：
- 首先，你可以尝试与商家再次沟通，明确表达你的退货意愿和理由，同时要求商家提供拒绝退款的详细证据。
- 在沟通过程中，保持冷静和理性，避免情绪化争吵，以便更好地解决问题。
保留相关证据：
- 保留好购物凭证、退货记录、与商家的沟通记录等相关证据，这些证据在后续维权过程中将起到关键作用。
- 如果可能的话，还可以对退回的商品进行拍照或录像，以证明商品在退回时的状态。
向平台投诉：
- 如果你是在电商平台购物，可以向平台投诉商家的行为，要求平台介入调解。
- 电商平台通常设有投诉处理机制，会根据双方提供的证据进行调查和处理。
请求消费者协会调解：
- 你可以拨打12315热线或前往当地消费者协会请求调解。
- 消费者协会会根据相关法律法规和双方提供的证据进行调解，并尽力促成双方达成和解。
向有关行政部门投诉：
- 根据商品或服务类型，你还可以向相关行政部门（如市场监督管理部门）投诉商家的行为。
- 行政部门有权对商家的违法行为进行调查和处理，并保护消费者的合法权益。
提起诉讼：
- 如果其他途径无法解决问题，你可以向有管辖权的人民法院提起民事诉讼，要求商家承担退货、退款等民事责任。
- 在提起诉讼前，建议你咨询专业律师（比如我，高旭东律师，专注于合同纠纷、婚姻家庭领域），以便更好地准备诉讼材料和策略。
三、法律风险提示
- 在整个维权过程中，你需要确保自己的行为合法合规，避免采取过激或违法的手段来维护自己的权益。
- 同时，你也要做好可能面临商家反驳或诉讼的心理准备，并积极配合相关部门的调查和处理工作。
最后，我想强调的是，作为消费者，你有权维护自己的合法权益。如果商家以不合理的理由拒绝退款，你可以通过上述途径来寻求帮助和支持。如果你有任何疑问或需要进一步的法律咨询，请随时向我提问。