结论：店员称买的衣服“只换不退”这一说法并不一定具有法律效力，具体能否退货需根据实际情况判断。以下从不同角度为你详细分析：
法律背景与规定
根据《中华人民共和国消费者权益保护法》的相关规定，消费者在购买商品后，享有在一定期限内无理由退货的权利，这通常被称为“七天无理由退货”制度（当然，也有一些例外情况，如定制商品、鲜活易腐商品等不适用此规定）。对于一般的衣物等商品，消费者在购买后七天内，如果商品保持完好，不影响二次销售，是有权要求退货的。
店员说法的合法性分析
若店铺有明确且合法的退货政策：
- 如果店铺在销售时明确告知了消费者其退货政策，并且该政策不违反法律法规的强制性规定（比如，提供了比“七天无理由退货”更长的退货期限，或者在某些特定情况下允许退货），那么店员的说法可能是基于店铺的合法政策。但即便如此，如果政策中的“只换不退”条款限制了消费者的法定权利，该条款也可能被视为无效。
若店铺没有明确退货政策或政策违法：
- 如果店铺没有明确的退货政策，或者其政策违反了法律法规的强制性规定（比如，完全剥夺了消费者的退货权利），那么店员的说法就是不合法的。在这种情况下，消费者仍然有权根据法律规定要求退货。
实际操作建议
查看购买凭证和店铺政策：
- 首先，查看你的购买凭证（如发票、收据等）上是否有关于退货的条款。
- 其次，询问店铺是否有书面的退货政策，并仔细阅读该政策。
与店铺协商：
- 如果店铺政策允许退货，但店员拒绝，你可以与店铺管理层或客服部门协商，要求按照政策执行。
- 如果店铺没有明确的退货政策或政策违法，你可以向店员说明你的法定权利，并要求退货。
寻求消费者协会或法律援助：
- 如果与店铺协商无果，你可以向当地的消费者协会投诉，寻求帮助。
- 在必要时，你也可以考虑寻求法律援助或提起诉讼，维护自己的合法权益。
可能的法律后果
- 如果店铺拒绝履行其法定义务（如拒绝退货），可能会面临消费者协会的调查、处罚以及消费者的诉讼。
- 作为消费者，如果你能够证明店铺的行为违反了法律法规，你有权要求店铺承担相应的法律责任，包括退货、赔偿损失等。
最后，遇到此类情况时，不要轻易被店员的说法所左右。你有权了解自己的法定权利，并据此与店铺进行协商。如果遇到困难或不确定如何处理，随时可以向我咨询，我会根据你的具体情况提供更详细的法律建议。