结论：商家以衣服有异味为由拒绝退款，这一行为是否合理需视具体情况而定。若异味属于质量问题且影响正常使用，商家应退款；若异味不构成质量问题或消费者无法证明，商家拒绝退款可能合理。

详细分析：

1. 从产品质量法的角度：

   • 根据《中华人民共和国产品质量法》的相关规定，产品应当具备应有的使用性能，且不存在危及人身、财产安全的不合理的危险。若衣服存在异味，且该异味导致衣服无法正常使用（如引起皮肤过敏、呼吸道不适等），则该异味可视为产品质量问题。
   • 在此情况下，消费者有权要求商家进行退货、换货或修理。若商家拒绝，消费者可以向消费者协会或市场监督管理部门投诉，甚至通过法律途径解决。

2. 从消费者权益保护法的角度：

   • 根据《中华人民共和国消费者权益保护法》，消费者在购买商品时享有知情权、选择权、公平交易权等权益。若商家在销售时未明确告知衣服存在异味，或异味问题在购买后短时间内即显现，且影响正常使用，则商家可能构成欺诈或违约。
   • 消费者有权要求商家承担相应的法律责任，包括退款、赔偿等。若商家拒绝，消费者同样可以采取投诉或法律途径来维护自己的权益。

3. 从商家角度的合理抗辩：

   • 若商家能够证明衣服的异味属于正常范围内的气味（如新衣服的轻微化学气味，且该气味在合理时间内消散），或异味问题并非由商家造成（如消费者自行洗涤不当导致），则商家拒绝退款可能具有一定的合理性。
   • 在此情况下，消费者若坚持要求退款，可能需要提供更充分的证据来证明衣服的异味确实属于质量问题，且影响正常使用。

建议：

• 对于消费者：若遇到商家以衣服有异味为由拒绝退款的情况，首先应尝试与商家协商解决。若协商无果，可以收集相关证据（如购买凭证、衣服照片、异味检测报告等），向消费者协会或市场监督管理部门投诉，或通过法律途径解决。
• 对于商家：应严格把控产品质量，确保销售的衣服符合相关质量标准。若遇到消费者投诉衣服有异味的问题，应积极与消费者沟通，了解具体情况，并根据实际情况采取合理的解决方案。若确实存在质量问题，应主动承担责任，避免引发不必要的法律纠纷。

可能法律后果：

• 若商家拒绝退款且确实存在质量问题，消费者通过法律途径解决后，商家可能面临退款、赔偿等法律责任，甚至可能受到市场监督管理部门的处罚。
• 若消费者无法证明衣服的异味属于质量问题，或商家能够证明异味问题并非由其造成，则商家拒绝退款可能被视为合理行为，消费者需承担相应的举证不能的法律后果。