结论：衣服“只换不退”是否合法，需根据具体情况来判断。在大多数情况下，这种规定可能不合法，因为它可能侵犯了消费者的公平交易权和退换货权利；但在某些特定情况下，如商品为定制且商家已提前告知并征得消费者同意，则“不退不换”的约定可能是有效的。
一、不合法的情况
违反公平交易权：
- 根据《中华人民共和国消费者权益保护法》第十六条，经营者应诚信经营，不得设定不公平、不合理的交易条件。衣服“只换不退”排除了消费者的合理退货权利，构成不公平、不合理的交易条件，侵犯了消费者的公平交易权。
属于“霸王条款”：
- 同样依据《消费者权益保护法》第二十六条，经营者不得以格式条款、通知、声明、店堂告示等方式，作出排除或者限制消费者权利、减轻或者免除经营者责任、加重消费者责任等对消费者不公平、不合理的规定。衣服“只换不退”通常作为店堂告示等格式条款出现，依法应属无效。
商品不符合质量要求时的退换货：
- 根据《消费者权益保护法》第二十四条，如果商品不符合质量要求，消费者有权要求退货、更换或修理。在无国家规定或当事人约定的情况下，消费者可在收到商品后七日内退货；七日后若符合法定解除合同条件，仍可退货。因此，如果衣服存在质量问题，商家仅提供换货而不提供退货服务，是违法的。
二、合法的情况
商品本身性质不适宜退换：
- 如消费者定制的服装，且商家已提前告知并征得消费者同意，则“不退不换”约定有效。这是因为定制商品是按照消费者的特定需求制作的，难以进行二次销售。
消费者自身原因导致商品影响二次销售：
- 若消费者人为损坏、严重污损或洗涤商品，影响二次销售，商家有权拒绝退换货。但需注意，如果商品本身存在质量问题（如开线、破洞、掉色等），即使试穿也不影响消费者要求退换货的权利。
三、消费者维权途径
保留凭证：
- 消费者在购买时应索取并妥善保存购衣小票等凭证，以便退换货时作为证明。
了解政策：
- 购买前可向店员咨询并了解店铺的退换货政策，避免在退换货时产生不必要的纠纷。
依法维权：
- 若经营者拒绝退换货或达成协议后不履行，消费者可通过以下途径维权：向消费者协会申请调解；向相关行政部门投诉；根据仲裁协议提请仲裁机构仲裁；向人民法院提起诉讼。
总结与建议：衣服“只换不退”是否合法，需根据商品的性质、购买方式以及商家的告知情况等因素综合判断。作为消费者，在购买衣服时应了解自己的权益和退换货政策，并在必要时依法维护自己的合法权益。如果遇到商家拒绝退换货的情况，可以保留好相关凭证，并通过上述途径进行维权。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。