在合同纠纷中，通常不可以只退衣服不退钱。以下是对这一问题的详细分析：

1. 合同约定与法律规定：

   • 首先，需要查看购买合同或销售协议中是否有关于退货退款的具体条款。如果合同明确规定了退货时必须同时退款，那么只退衣服不退钱就违反了合同约定。
   • 其次，根据《消费者权益保护法》的相关规定，如果商品存在质量问题，消费者有权要求退货、换货或修理，并且经营者应当承担必要的费用。在这种情况下，如果经营者只同意换货而不退款，也可能违反了法律规定。

2. 消费者权益保护：

   • 消费者在购买商品时，享有公平交易的权利。如果经营者只退衣服不退钱，实际上是在剥夺消费者的退款权利，这违反了公平交易的原则。
   • 此外，消费者还有权对损害其合法权益的行为进行投诉和举报。如果经营者拒绝按照法律规定或合同约定处理退货退款事宜，消费者可以向消费者协会或相关行政部门进行投诉。

3. 实际操作建议：

   • 如果遇到只退衣服不退钱的情况，消费者应首先与经营者进行沟通，明确表达自己的退货退款需求，并指出合同或法律中的相关规定。
   • 如果沟通无果，消费者可以保留好相关证据（如购买凭证、退货协议等），向消费者协会或相关行政部门进行投诉，以维护自己的合法权益。

综上所述，只退衣服不退钱通常是不合法的，也不符合合同约定和消费者权益保护的原则。消费者在遇到此类问题时，应积极维护自己的合法权益。