当遇到衣服掉色商家不给退的情况时，你可以按照以下步骤来依法维护自己的合法权益：

1. 与商家协商：

   • 法律依据：根据《中华人民共和国消费者权益保护法》，消费者在购买商品后，若商品存在质量问题，有权要求商家进行退货、换货或修理。衣服掉色属于质量问题范畴，因此你有权要求商家退货。
   • 操作建议：首先，收集并保留好购买凭证（如发票、小票）以及衣服掉色的照片或视频等证据。然后，前往实体店当面沟通，或通过网络平台提供的聊天工具、客服电话等方式与商家联系，清晰表达你的诉求并出示相关证据。

2. 请求消费者协会调解：

   • 调解流程：若与商家协商无果，你可以向当地消费者协会请求调解。在请求调解时，需提供购买凭证、衣服质量问题的说明以及与商家的沟通情况。
   • 消协作用：消费者协会将为你提供咨询服务，帮助你了解相关法律法规，并协助你与商家进行协商，以期达成合理的解决方案。

3. 向行政部门投诉：

   • 投诉对象：若消费者协会的调解未能解决问题，你可以向工商行政管理部门或市场监督管理部门等行政部门投诉。
   • 投诉内容：在投诉时，需提供详细的购买记录、衣服质量问题的证据、商家的联系方式等信息，以便行政部门进行调查处理。

4. 法律途径解决：

   • 提请仲裁：若你与商家达成了仲裁协议，可以根据协议向仲裁机构提请仲裁，由仲裁机构进行裁决。
   • 提起诉讼：若无仲裁协议或仲裁未果，你可以直接向人民法院提起诉讼。在提起诉讼前，需准备起诉状，详细说明事情经过、你的诉求以及相关证据。
   • 律师函：在提起诉讼前，你也可以考虑委托我发送律师函，以专业角度告知商家其行为的违法性，并要求其在一定期限内给予合理答复并解决问题。

5. 全程保留证据：

   • 重要性：在整个维权过程中，保留好相关证据是至关重要的。这些证据将在后续的调解、投诉、仲裁或诉讼过程中发挥关键作用。
   • 证据类型：包括但不限于购买凭证、衣服质量问题的照片或视频、与商家的沟通记录（如聊天记录、邮件往来）、消费者协会或行政部门的调解记录等。

额外建议：

• 在购买衣服时，尽量选择信誉良好的商家和品牌，以降低购买到质量问题的商品的风险。
• 在发现衣服掉色等质量问题时，及时与商家沟通并保留好相关证据，以便后续维权。

如果你在处理此类问题时遇到任何困难或疑问，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议和帮助。