结论：实体店退衣服不给退是否合法，需根据具体情况判断。若衣服存在质量问题或商家有承诺无理由退货但拒绝履行，则商家行为违法；反之，若衣服无质量问题且商家未承诺无理由退货，则商家拒绝退货合法。不过，无论何种情况，您都可以通过一系列措施来维护自己的合法权益。
具体分析：
合法拒绝退货的情形
- 消费者原因且符合商家规定：如果商家在销售时已明确告知退换货规则（如在店铺显著位置张贴“一经售出，非质量问题不予退换”的告示），且您在购买时对此表示认可，若衣服无质量问题，商家有权依据双方约定拒绝退货。此约定只要不违反法律法规的强制性规定，即为有效。
- 商品特殊性质：对于定制服装等具有唯一性的特殊商品，因其无法二次销售，商家通常在定制前会告知消费者不接受退货。在此情况下，商家拒绝退货是合法的。
- 无质量问题且无无理由退货承诺：如果购买的衣服没有质量问题，且商家没有明确承诺无理由退货，那么商家拒绝退货是合法的，因为商家没有违反任何法律规定或双方约定。
不合法拒绝退货的情形
- 商品存在质量问题：根据《中华人民共和国消费者权益保护法》的相关规定，如果衣服存在质量问题（如面料瑕疵、染色不均、开线等），影响了正常穿着，您有权要求退货。此时，商家拒绝退货是不合法的。
- 商家未履行告知义务或承诺无理由退货：如果商家在销售时没有明确告知您退换货政策，或故意隐瞒相关信息，导致您在不知情的情况下购买了衣服，后来您因合理原因要求退货时，商家不能以没有事先约定为由拒绝退货，否则即为不合法。若商家已承诺无理由退货，但拒绝履行退货义务，同样构成违法行为。
维权途径：
当商家拒绝履行合法的退货义务时，您可以通过以下途径维护自己的合法权益：
与商家协商：
- 初步沟通：以平和态度与店员说明退款原因，尝试达成双方接受的解决方案。
- 升级协商：若店员无法解决问题，要求与负责人或经理进一步沟通，强调您的权益和《中华人民共和国消费者权益保护法》等相关法律法规的支持。
请求第三方调解：
- 商场管理方：向实体店所在的商场管理部门投诉，提供购物凭证和详细情况，利用其消费者投诉处理机制协助解决。
- 消费者协会：拨打12315联系消费者协会，详细描述消费过程、退款原因及与商家的协商情况，寻求调解和支持。
向行政部门投诉：
- 若上述方法均无效，可向相关行政部门（如工商部门）投诉，提交购物凭证、商品照片及诉求信息，以便行政部门介入处理。
法律途径：
- 仲裁：根据与商家达成的仲裁协议，提请仲裁机构进行仲裁。
- 诉讼：若仲裁无效或未达成仲裁协议，可收集证据（如购物凭证、沟通记录、商品问题照片等），向人民法院提起诉讼，要求商家退款并主张因维权产生的合理费用。
注意事项：
- 保留证据：在整个维权过程中，务必妥善保存所有相关证据，包括购物凭证、商品照片、沟通记录等。
- 个人信息保护：在维权过程中注意保护个人信息和隐私，避免不必要的骚扰。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。