结论：买了贵衣服退货时存在差价问题，可能涉及违反《中华人民共和国消费者权益保护法》中关于消费者退货权利及经营者义务的相关规定，具体是否违法需结合实际情况判断。以下从不同角度详细分析：
一、消费者退货权利与经营者义务
消费者退货权利：
- 根据《中华人民共和国消费者权益保护法》的相关规定，消费者在购买商品后，有权在合理期限内退货，特别是当商品存在质量问题或与描述不符时。
- 对于非质量问题导致的退货，如消费者因个人原因（如不喜欢、尺寸不合适等）要求退货，法律并未强制规定经营者必须接受，但许多经营者会出于商业考虑或行业惯例，提供无理由退货服务。
经营者义务：
- 经营者应当保证其提供的商品或服务符合质量要求，不得欺诈消费者。
- 如果消费者因商品质量问题或经营者欺诈行为要求退货，经营者应当无条件接受，并退还消费者已支付的款项。
- 对于非质量问题退货，如果经营者同意退货，应当按照约定或行业惯例退还消费者款项，不得无故克扣或设置障碍。
二、退货差价问题的法律分析
差价产生的原因：
- 退货差价可能由于商品价格变动、经营者促销活动结束、消费者退货时商品已使用或损坏等原因产生。
- 如果差价是由于经营者单方面调整价格或取消促销活动导致的，且消费者在购买时并未被告知或同意这种调整，那么经营者可能构成违约或欺诈。
法律后果：
- 如果经营者拒绝退还差价或设置不合理障碍，消费者可以向消费者协会投诉或向法院提起诉讼，要求经营者履行退货义务并退还差价。
- 如果经营者的行为构成欺诈，消费者还可以要求经营者承担惩罚性赔偿责任，即按照消费者购买商品的价款或者接受服务的费用的三倍进行赔偿（增加赔偿的金额不足五百元的，为五百元）。
三、实际操作建议
与经营者协商：
- 消费者在遇到退货差价问题时，首先应与经营者进行协商，明确退货原因和差价产生的原因，寻求双方都能接受的解决方案。
保留证据：
- 消费者在购买商品和退货过程中，应保留好相关证据，如购物发票、退货协议、沟通记录等，以便在发生纠纷时维护自己的权益。
寻求法律援助：
- 如果协商无果，消费者可以向当地消费者协会投诉或寻求法律援助，通过法律途径解决纠纷。
举例说明：假设消费者购买了一件昂贵的衣服，后来因尺寸不合适要求退货。经营者同意退货，但表示由于衣服已经拆封且试穿过，需要扣除一定的差价。在这种情况下，如果消费者在购买时并未被告知或同意这种差价扣除条款，那么经营者的行为可能构成违约。消费者可以与经营者协商要求全额退款，如果协商无果，可以向消费者协会投诉或提起诉讼。
进一步思考：在处理退货差价问题时，消费者应了解自己的权利和经营者的义务，合理维护自己的权益。同时，经营者也应遵守相关法律法规和行业规范，诚信经营，避免不必要的纠纷。如果你在处理此类问题时遇到任何疑问或需要进一步的法律帮助，可以直接向我咨询。