当您购买的衣服存在质量问题而商家拒绝退货时，您完全有权依法维护自己的合法权益。以下是一个详细且有条理的解决方案，希望能帮助您妥善处理这一问题：
一、明确您的权益
根据《中华人民共和国消费者权益保护法》，您作为消费者，在购买商品后，如果发现商品存在质量问题，有权要求商家进行退货或换货处理。这是您的基本权益，商家应当予以尊重并履行。
二、与商家协商解决
收集证据：在与商家沟通之前，请务必收集好所有相关证据，包括购买凭证（如发票、小票）、衣服质量问题的照片或视频等。这些证据将有助于您更清晰地阐述问题，并增加商家接受退货的可能性。
友好沟通：尝试与商家进行友好沟通，明确指出衣服的质量问题，并要求按照相关法律法规和购物凭证办理退货。在沟通过程中，保持冷静和理性，避免情绪化冲突。
利用平台客服：如果您是在网络平台购物，可以利用平台的客服渠道反映问题，要求平台介入协助协商。电商平台通常有完善的投诉处理机制，能够为您提供一定的帮助。
三、寻求外部调解
消费者协会调解：如果与商家协商无果，您可以向当地消费者协会请求调解。消费者协会将提供咨询服务，帮助您了解相关法律法规，并协助您与商家进行协商，以期达成合理解决方案。
商场管理部门协调：如果您是在实体商场购物，还可以向商场管理部门或客服中心投诉。商场为维护信誉，通常会积极协调解决问题，帮助您与商家达成退货协议。
四、向行政部门投诉
如果消费者协会的调解未能解决问题，您可以向工商行政管理部门或市场监督管理部门等行政部门投诉。在投诉时，请提供详细的购买记录、衣服质量问题的证据、商家的联系方式等信息，以便行政部门进行调查处理。行政部门将依法对商家进行检查和处理，如果商家违反法律法规，将面临行政处罚。
五、考虑法律途径
发送律师函：在提起诉讼前，您可以考虑委托律师向商家发送律师函。律师函将从专业角度告知商家其行为的违法性，并要求其在一定期限内给予合理答复并解决问题。这通常具有一定的威慑力，可能促使商家主动解决问题。
提起诉讼：如果上述途径均无效，您可以向有管辖权的人民法院提起民事诉讼。在诉讼中，您需要提供充分证据证明衣服的质量问题及买卖关系。法院将依据事实和法律作出公正判决，维护您的合法权益。
六、重要提示
综上所述，面对衣服质量问题商家不给退的情况，您应积极采取措施维权。从与商家协商到寻求外部调解，再到向行政部门投诉和考虑法律途径，每一步都需谨慎而坚定地前行。希望这些建议能够帮助您妥善解决问题，维护自己的合法权益。