服装店单方面规定的“不退不换”政策，在大多数情况下是不合法的。这一结论主要基于《中华人民共和国消费者权益保护法》的相关规定，以下从不同角度进行详细分析：
一、不合法的情况
违反公平交易权：
- 根据《消费者权益保护法》第十六条，经营者应诚信经营，不得设定不公平、不合理的交易条件。“不退不换”排除了消费者的合理退换货权利，构成不公平、不合理的交易条件，侵犯了消费者的公平交易权。
属于“霸王条款”：
- 《消费者权益保护法》第二十六条明确禁止经营者以格式条款等方式作出对消费者不公平、不合理的规定。“不退不换”通常作为店堂告示等格式条款出现，依法应属无效。
商品不符合质量要求时的退换货：
- 根据《消费者权益保护法》第二十四条，如果商品不符合质量要求，消费者有权要求退货、更换或修理。在无国家规定或当事人约定的情况下，消费者可在收到商品后七日内退货；七日后若符合法定解除合同条件，仍可退货。这意味着，无论商品是否特价或打折，只要存在质量问题，商家都应负责退换。
特殊销售方式的退换货：
- 对于网络、电视、电话、邮购等方式销售的商品，《消费者权益保护法》第二十五条赋予消费者七日无理由退货权。服装作为常见商品，通常也适用这一规定。但需注意，定制商品、鲜活易腐商品、数字化商品（如已下载的音像制品、软件）及报纸、期刊等不适用无理由退货。
二、合法或合理的情况
消费者定作的商品：
- 如果衣服是消费者根据自身特定需求定制的（如独特图案、名字等），商家通常可以拒绝退货。因为定制商品具有特定性，难以再次销售，允许随意退货会对商家造成损失。这种情况下，商家拒绝退货是合理合法的。
消费者购买时确认不宜退货的商品：
- 如果商家在销售衣服时，已通过显著方式提醒消费者该商品不适用无理由退货，并且消费者明确表示同意（如在销售页面或店内显著位置标明“一经售出，概不退换”），那么商家不让退货不违法。这适用于限量版、特价清仓的衣服等情况，但商家的告知义务必须明确充分，确保消费者在购买前已知悉并接受相关条款。
消费者自身原因导致商品影响二次销售：
- 若消费者人为损坏、严重污损或洗涤商品，影响二次销售，商家有权拒绝退换货。但若商品本身存在质量问题（如开线、破洞、掉色），即使试穿也不影响消费者要求退换货的权利。
三、消费者如何应对
- 保留凭证：消费者在购买时应索取并妥善保存购衣小票等凭证，以便退换货时作为证明。
- 了解政策：购买前可向店员咨询并了解店铺的退换货政策，避免后续纠纷。
- 依法维权：若经营者拒绝退换货或达成协议后不履行，消费者可通过以下途径维权：向消费者协会申请调解；向相关行政部门投诉；根据仲裁协议申请仲裁或向人民法院提起诉讼。
总结来看，服装店单方面规定的“不退不换”政策在大多数情况下是不合法的。作为消费者，在遇到此类问题时，应依法维护自己的合法权益。如果你有具体的法律问题或需要进一步的帮助，可以直接向我咨询。