若裤子存在质量问题而商家拒绝退货，您可以通过以下途径来维护自己的合法权益：

一、与商家协商

1. 明确表达问题：首先，您可以与商家进行面对面的沟通，明确指出裤子存在的质量问题，如面料破损、色差严重、尺寸不符等，并要求退货。
2. 保留证据：在协商过程中，建议您保留好购买凭证（如发票、收据）、商品照片或视频等证据，以便在后续维权过程中使用。

二、寻求第三方调解

1. 消费者协会：如果与商家协商无果，您可以向当地的消费者协会寻求帮助，请求其进行调解。消费者协会具有专业性和中立性，能够推动问题的解决。
2. 其他调解组织：除了消费者协会外，您还可以寻求依法成立的其他调解组织的协助，这些组织同样能够提供调解服务。

三、向行政部门投诉

1. 工商行政管理部门：您可以向当地的工商行政管理部门投诉商家的不当行为。工商行政管理部门有权对商家的经营行为进行监管和处罚，能够为您的维权提供有力支持。
2. 商品质量监督检验部门：如果裤子存在严重的质量问题，您还可以向当地的商品质量监督检验部门投诉。该部门能够对商品的质量进行检测和鉴定，并出具相应的检测报告，为您的维权提供证据支持。

四、提请仲裁或诉讼

1. 仲裁：如果您与商家之间存在有效的仲裁协议，您可以提请仲裁机构进行仲裁。仲裁是一种快速、高效的纠纷解决方式，双方可以自愿选择仲裁机构进行仲裁。
2. 诉讼：当所有非诉讼途径都尝试过且未能解决问题时，您有权向人民法院提起诉讼。通过法律手段来维护自己的合法权益是最后的救济途径。在诉讼过程中，您需要准备好相关证据材料，并按照法院的要求进行诉讼活动。

五、特别提醒

• 了解退货权：根据《中华人民共和国消费者权益保护法》的相关规定，消费者在购买商品后享有退货权。但需要注意的是，这一权利并非毫无边界，对于特定商品（如消费者定做的商品、鲜活易腐商品等）可能不适用无条件退货的规定。
• 防止权利滥用：为防止退货权利的滥用，修正案还规定，除非消费者和经营者另有约定，无理由退回商品的运费应由消费者承担。因此，在行使退货权时，请确保符合相关法律法规的规定。

在处理此类纠纷时，请务必保持冷静和理性，通过合法途径来维护自己的权益。如果您在维权过程中遇到任何困难或疑问，可以直接向我咨询，我会为您提供专业的法律建议和帮助。