结论：能否退还衣服，不能仅依据售货员“不能退还”的说法来判断，需结合具体情况，从合同成立与生效、商家退换货政策、是否存在欺诈或重大误解等角度综合分析。

一、合同成立与生效角度

在商场购买衣服，当您与商家就衣服的购买达成合意（即您同意购买，商家同意出售），且您支付了相应价款，商家交付了衣服时，买卖合同即成立并生效。售货员私自给便宜100元这一行为，若得到了商家授权或者事后商家认可，那么这属于合同价款的变更，不影响合同的效力。

从合同的基本原理来讲，在合同履行过程中，如果双方没有特别约定不能退货，且不存在法定不能退货的情形（如定制商品、鲜活易腐商品等），消费者是有权要求退货的。售货员单方面声称“不能退还”，若没有合法依据，这种说法是不具有法律效力的。

二、商家退换货政策角度

很多商场或者商家会有自己的退换货政策，这些政策通常会以店堂告示、购物小票备注等形式呈现。如果商家的退换货政策中明确规定了在一定期限内（如7天无理由退换货），消费者可以无条件退换货，那么即使售货员说不能退还，您也有权依据商家的政策要求退货。

但如果商家的退换货政策中明确排除了某些情况下的退换货权利，比如已经穿着、洗涤过的衣服不能退换等，而您购买的衣服符合这些排除情形，那么商家拒绝退换货可能是有合理依据的。不过，商家的退换货政策不能违反法律法规的强制性规定，如果政策条款本身不合法，那么该条款是无效的。

三、是否存在欺诈或重大误解角度

如果售货员私自便宜100元的行为存在欺诈的故意，比如故意以低价吸引您购买，然后以各种理由拒绝退换货，或者该衣服本身存在质量问题，售货员却隐瞒不报，还声称不能退还，那么您不仅可以要求退货，还可以依据《消费者权益保护法》的规定，要求商家承担相应的赔偿责任，如增加赔偿您受到的损失（增加赔偿的金额为您购买商品的价款或者接受服务的费用的三倍；增加赔偿的金额不足五百元的，为五百元）。

另外，如果您在购买衣服时，对衣服的价格、质量等重要信息存在重大误解，比如您以为衣服是正常价格购买，实际上是售货员私自降价，且这种误解影响了您是否购买的决定，那么您也可以依据《民法典》中关于重大误解的规定，请求人民法院或者仲裁机构撤销该买卖合同，从而实现退货的目的。

建议：您可以先查看购物小票上是否有关于退换货的说明，同时与商场的客服部门或者管理层进行沟通，说明情况，要求按照合理的方式处理。如果沟通无果，您可以向当地的消费者协会投诉，或者通过法律途径解决纠纷。如果您还有其他疑问或者需要进一步的帮助，随时都可以向我咨询。