当遇到衣服掉色商家不给退的情况时，你可以按照以下步骤来依法维护自己的合法权益：

1. 与商家协商：

   • 法律依据：根据《中华人民共和国消费者权益保护法》，消费者在购买商品后，若商品存在质量问题，有权要求商家进行退货、换货或修理。衣服掉色属于质量问题范畴，因此你有权要求商家退货。
   • 操作建议：首先，收集并保留好购买凭证（如发票、小票）以及衣服掉色的照片或视频等证据。然后，前往实体店当面沟通，或通过网络平台提供的聊天工具、客服电话等方式与商家联系，清晰表达你的诉求，并出示相关证据。

2. 请求消费者协会调解：

   • 调解流程：若与商家协商无果，你可以向当地消费者协会请求调解。在请求调解时，需提供购买凭证、衣服质量问题的说明以及与商家的沟通情况等证据。
   • 消协作用：消费者协会将为你提供咨询服务，帮助你了解相关法律法规，并协助你与商家进行协商，以期达成合理解决方案。

3. 向行政部门投诉：

   • 投诉对象：若消费者协会的调解未能解决问题，你可以向工商行政管理部门或市场监督管理部门等行政部门投诉。
   • 投诉内容：在投诉时，需提供详细的购买记录、衣服质量问题的证据、商家的联系方式等信息，以便行政部门进行调查处理。

4. 法律途径解决：

   • 提请仲裁：若你与商家达成了仲裁协议，可以根据协议向仲裁机构提请仲裁，由仲裁机构进行裁决。
   • 提起诉讼：若无仲裁协议或仲裁未果，你可以直接向人民法院提起诉讼。在提起诉讼前，需准备起诉状，详细说明事情经过、你的诉求及相关证据。
   • 律师函：在提起诉讼前，你也可以考虑委托我这样的专业律师发送律师函，以专业角度告知商家其行为的违法性，并要求其在一定期限内给予合理答复并解决问题。

5. 全程保留证据：

   • 重要性：在整个维权过程中，保留好相关证据是至关重要的。这些证据将在后续的调解、投诉、仲裁或诉讼过程中发挥关键作用。
   • 证据类型：包括但不限于购买凭证、衣服质量问题的照片或视频、与商家的沟通记录（如聊天记录、邮件往来）、消费者协会或行政部门的调解记录等。

额外建议：

• 在与商家沟通时，保持冷静和理性，避免情绪化表达，以便更有效地解决问题。
• 若商家态度强硬或拒绝沟通，你可以考虑通过社交媒体或消费者评价平台公开你的遭遇，以引起更多关注和压力，促使商家重视并解决问题。

总结：当遇到衣服掉色商家不给退的情况时，你应依法有序地采取上述措施来维护自己的合法权益。通过协商、调解、投诉、仲裁或诉讼等途径，你有望获得合理的解决方案。如果你在这个过程中遇到任何困难或疑问，可以直接向我咨询，我会为你提供专业的法律帮助。