买衣服不给退货是否违法，需根据具体情况判断。以下是从不同角度的详细分析：
一、合法拒绝退货的情形
消费者原因且符合商家规定：
- 若商家在销售时已明确告知退换货规则（如在店铺显著位置张贴“一经售出，非质量问题不予退换”的告示），且消费者在购买时对此表示认可，若衣服无质量问题，商家有权依据双方约定拒绝退货。此约定只要不违反法律法规的强制性规定，即为有效。
- 举例来说，如果消费者因个人喜好（如款式、颜色等）要求退货，且衣服无质量瑕疵并已被正常穿着或洗涤，可能影响二次销售，商家可依据事先约定或商业惯例拒绝退货。
商品特殊性质：
- 对于定制服装等具有唯一性的特殊商品，因其无法二次销售，商家通常在定制前会告知消费者不接受退货。在此情况下，商家拒绝退货是合法的。
无质量问题且无无理由退货承诺：
- 如果购买的衣服没有质量问题，且商家没有明确承诺无理由退货，那么商家拒绝退货是合法的，因为商家没有违反任何法律规定或双方约定。
二、不合法拒绝退货的情形
商品存在质量问题：
- 根据《中华人民共和国消费者权益保护法》的相关规定，如果衣服存在质量问题（如面料瑕疵、染色不均、开线等），影响了正常穿着，消费者有权要求退货。此时，商家拒绝退货是不合法的。
商家未履行告知义务或承诺无理由退货：
- 如果商家在销售时没有明确告知消费者退换货政策，或故意隐瞒相关信息，导致消费者在不知情的情况下购买了衣服，后来消费者因合理原因要求退货时，商家不能以没有事先约定为由拒绝退货，否则即为不合法。
- 若商家已承诺无理由退货，但拒绝履行退货义务，同样构成违法行为。例如，在网络购物中，根据《消费者权益保护法》，消费者有权自收到商品之日起七日内无理由退货（部分特定商品除外），如果商家拒绝，则违法。
三、消费者如何维护权益
- 与商家协商：首先尝试与商家进行友好协商，寻求解决方案。
- 向消费者协会投诉：若协商无果，可向当地消费者协会投诉，寻求帮助和支持。
- 向行政部门举报：消费者还可向相关行政部门举报商家的违法行为。
- 提起诉讼：在必要时，消费者可选择通过法律途径解决争议，向法院提起诉讼。
总结与建议：买衣服不给退货是否违法，需综合考虑商品质量、购买方式及双方约定等因素。消费者在购买衣服时，应充分了解商家的退货政策，并在遇到问题时依法维护自己的合法权益。如果遇到商家拒绝合法退货的情况，可以按照上述途径进行维权。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。