结论：商家以“特价商品不退不换”为由拒绝退货，并不一定完全合法。是否能够退货，需结合商品实际情况、商家是否尽到告知义务以及相关法律规定来综合判断。以下从不同角度为您详细分析：
一、商家“特价商品不退不换”条款的效力
格式条款的效力：
- 商家在销售特价商品时，通常会以店堂告示、商品标签或销售合同中的条款等形式，声明“特价商品不退不换”。这种条款属于格式条款，即商家为了重复使用而预先拟定，并在订立合同时未与消费者协商的条款。
- 根据《中华人民共和国消费者权益保护法》第二十六条的规定，经营者在经营活动中使用格式条款的，应当以显著方式提请消费者注意商品或者服务的数量和质量、价款或者费用、履行期限和方式、安全注意事项和风险警示、售后服务、民事责任等与消费者有重大利害关系的内容，并按照消费者的要求予以说明。经营者不得以格式条款、通知、声明、店堂告示等方式，作出排除或者限制消费者权利、减轻或者免除经营者责任、加重消费者责任等对消费者不公平、不合理的规定，不得利用格式条款并借助技术手段强制交易。格式条款、通知、声明、店堂告示等含有前款所列内容的，其内容无效。
- 因此，如果商家未以显著方式提请消费者注意“特价商品不退不换”的条款，或者该条款本身存在对消费者不公平、不合理的内容，那么该条款可能被认定为无效。
商品存在质量问题时的处理：
- 即使商家声明了“特价商品不退不换”，但如果商品存在质量问题，消费者仍然有权要求退货、换货或者修理。这是基于《中华人民共和国消费者权益保护法》第二十四条的规定，即经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。没有国家规定和当事人约定的，消费者可以自收到商品之日起七日内退货；七日后符合法定解除合同条件的，消费者可以及时退货，不符合法定解除合同条件的，可以要求经营者履行更换、修理等义务。
二、您当前情况的处理建议
检查商品是否存在质量问题：
- 您提到裤子“无质量问题”，但为了确保自身权益，建议您再次仔细检查裤子是否存在隐蔽的质量问题，如线头脱落、缝制不牢、面料瑕疵等。如果发现质量问题，您可以立即联系商家要求退货或换货。
与商家协商：
- 如果裤子确实没有质量问题，但您仍然希望退货，您可以尝试与商家协商。在协商过程中，您可以指出商家未尽到告知义务（如未以显著方式提示“特价商品不退不换”的条款），或者该条款本身存在对消费者不公平、不合理的内容。通过协商，您可能能够达成退货的协议。
寻求消费者协会或相关部门的帮助：
- 如果与商家协商无果，您可以向当地的消费者协会或相关市场监管部门投诉。这些机构会为您提供帮助，调解您与商家之间的纠纷，并维护您的合法权益。
考虑法律途径：
- 如果其他途径均无法解决问题，您还可以考虑通过法律途径来维护自己的权益。您可以向法院提起诉讼，要求商家履行退货义务或赔偿您的损失。在诉讼过程中，您需要提供充分的证据来证明商家的行为违反了相关法律规定或合同约定。
最后，作为消费者，在购买商品时应当仔细阅读商家的销售条款和商品说明，了解自己的权利和义务。如果遇到商家拒绝退货的情况，不要慌张，可以根据上述建议来维护自己的合法权益。如果您还有其他疑问或需要进一步的法律帮助，请随时向我咨询。