结论：商家以“衣服穿过”为由拒绝退货是否合法，需根据具体情况判断。若衣服存在质量问题或商家承诺无理由退货，则商家拒绝退货可能不合法；若衣服无质量问题且商家未承诺无理由退货，则商家拒绝退货可能合法。以下为详细分析：
一、衣服存在质量问题
法律依据：
- 根据《中华人民共和国消费者权益保护法》第二十四条，经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。没有国家规定和当事人约定的，消费者可以自收到商品之日起七日内退货；七日后符合法定解除合同条件的，消费者可以及时退货，不符合法定解除合同条件的，可以要求经营者履行更换、修理等义务。
分析：
- 若衣服存在质量问题，如破损、色差、尺码不符等，消费者有权要求退货，无论衣服是否穿过。商家以“衣服穿过”为由拒绝退货，违反了消费者权益保护法的规定。
二、商家承诺无理由退货
法律依据：
- 根据《中华人民共和国消费者权益保护法》第二十五条，经营者采用网络、电视、电话、邮购等方式销售商品，消费者有权自收到商品之日起七日内退货，且无需说明理由，但下列商品除外：（一）消费者定作的；（二）鲜活易腐的；（三）在线下载或者消费者拆封的音像制品、计算机软件等数字化商品；（四）交付的报纸、期刊。除前款所列商品外，其他根据商品性质并经消费者在购买时确认不宜退货的商品，不适用无理由退货。
- 尽管该条款主要针对网络、电视、电话、邮购等方式销售商品，但实体店商家若主动承诺无理由退货，也应受此约束。
分析：
- 若商家在销售时明确承诺无理由退货，且衣服不属于上述例外情形，则消费者有权在承诺期限内无理由退货，无论衣服是否穿过。商家以“衣服穿过”为由拒绝退货，违反了其承诺。
三、衣服无质量问题且商家未承诺无理由退货
法律依据：
- 在此情况下，主要依据《中华人民共和国民法典》中关于买卖合同的规定。若合同中没有特别约定退货条款，且衣服无质量问题，则消费者无权要求退货。
分析：
- 若衣服无质量问题，且商家未承诺无理由退货，则商家以“衣服穿过”为由拒绝退货是合法的。因为衣服作为个人消费品，一旦穿过，其价值会受到影响，商家有权拒绝退货。
建议：
与商家协商：
- 消费者可以先与商家沟通，说明退货原因，并尝试达成退货协议。
保留证据：
- 若商家拒绝退货，消费者应保留好购物凭证、衣服照片、质量问题证据等，以备后续维权使用。
寻求消费者协会或市场监管部门帮助：
- 若协商无果，消费者可以向当地消费者协会或市场监管部门投诉，寻求帮助。
法律途径：
- 若问题仍未解决，消费者可以考虑通过法律途径解决纠纷，如提起民事诉讼。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。