结论前置：在商场购买衣服后，商家是否可以拒绝退货需根据具体情况判断。若衣服存在质量问题或商家有承诺无理由退货但拒绝履行，则商家行为违法；反之，若衣服无质量问题且商家未承诺无理由退货，则商家拒绝退货合法。
一、合法拒绝退货的情形
消费者原因且符合商家规定：
- 若商家在销售时已明确告知退换货规则（如在店铺显著位置张贴“一经售出，非质量问题不予退换”的告示），且消费者在购买时对此表示认可，若衣服无质量问题，商家有权依据双方约定拒绝退货。此约定只要不违反法律法规的强制性规定，即为有效。
- 举例来说，如果消费者因个人喜好（如款式、颜色等）要求退货，且衣服无质量瑕疵并已被正常穿着或洗涤，可能影响二次销售，商家可依据事先约定或商业惯例拒绝退货。
商品特殊性质：
- 对于定制服装等具有唯一性的特殊商品，因其无法二次销售，商家通常在定制前会告知消费者不接受退货。在此情况下，商家拒绝退货是合法的。
无质量问题且无无理由退货承诺：
- 如果购买的衣服没有质量问题，且商家没有明确承诺无理由退货，那么商家拒绝退货是合法的，因为商家没有违反任何法律规定或双方约定。
二、不合法拒绝退货的情形
商品存在质量问题：
- 根据《中华人民共和国消费者权益保护法》的相关规定，如果衣服存在质量问题（如面料瑕疵、染色不均、开线等），影响了正常穿着，消费者有权要求退货。此时，商家拒绝退货是不合法的。
商家未履行告知义务或承诺无理由退货：
- 如果商家在销售时没有明确告知消费者退换货政策，或故意隐瞒相关信息，导致消费者在不知情的情况下购买了衣服，后来消费者因合理原因要求退货时，商家不能以没有事先约定为由拒绝退货，否则即为不合法。
- 若商家已承诺无理由退货，但拒绝履行退货义务，同样构成违法行为。
三、消费者维权途径
当商家拒绝履行合法的退货义务时，消费者可通过以下途径维护自己的合法权益：
与商家协商：
- 首先尝试与商家进行友好协商，明确表达退货原因及诉求，并提供购买凭证和衣服存在问题的证据。
向商场管理方投诉：
- 若与商家协商无果，可向商场管理部门（如客服中心、物业管理处）反映情况，请求管理方介入协调。
寻求消费者协会帮助：
- 拨打12315消费者投诉举报专线或通过全国12315平台网站、APP等渠道投诉，提供购买时间、地点、商家名称、衣服问题及购买凭证等信息，消协将进行调查和调解。
向有关行政部门投诉：
- 向当地市场监督管理部门投诉，该部门有权对商家经营行为进行监管和查处，依据《消费者权益保护法》保护消费者合法权益。
提起诉讼：
- 在必要时，消费者可选择通过法律途径解决争议，向法院提起诉讼，要求商家承担退货、更换、修理等责任，并可能要求赔偿损失。
总结与建议：在商场购买衣服时，消费者应了解商家的退换货政策，并在购买前确认衣服的质量和款式。若遇到商家拒绝合法退货的情况，应及时采取上述措施维护自己的合法权益。同时，建议消费者在购买时保留好购买凭证和衣服的相关证据，以便在需要时提供证明。如有任何法律疑问或需要进一步的帮助，请直接向我咨询。