结论：衣服蹭到轻微灰尘，商家一般不可以直接以此为由拒不退款，但具体能否退款还需结合实际情况判断。以下从不同角度进行分析：

一、从消费者权益保护角度

根据《中华人民共和国消费者权益保护法》的相关规定，消费者享有公平交易的权利和依法求偿权。如果衣服只是蹭到轻微灰尘，并未影响衣服的质量、性能、用途等核心属性，且消费者在购买时并未被告知衣服存在此类灰尘或灰尘会影响退货等情况，那么商家以衣服蹭到轻微灰尘为由拒绝退款，可能侵犯了消费者的公平交易权和依法求偿权。

举例：假设消费者在商场购买了一件新衣服，回家后发现衣服上有一处非常轻微的灰尘，这灰尘并不影响衣服的整体美观和穿着，消费者要求退货，商家却以衣服有灰尘为由拒绝。这种情况下，商家的做法是不合理的，消费者有权要求商家退款。

二、从合同角度

购买衣服的行为本质上构成了一个买卖合同。在这个合同中，商家有义务提供符合质量要求的商品，消费者有义务支付货款。如果衣服上的轻微灰尘并不构成质量问题，且双方在合同中并未明确约定衣服有轻微灰尘就不能退货等条款，那么商家单方面以衣服有灰尘为由拒绝退款，可能构成违约。

举例：消费者和商家在购买衣服时，并未就衣服的清洁程度等细节进行特别约定。消费者付款后，发现衣服有轻微灰尘要求退货，商家拒绝。此时，商家可能违反了合同中关于提供符合质量要求商品的义务，消费者可以依据合同法的相关规定要求商家承担违约责任，包括退款等。

三、从实际情况和商家政策角度

虽然从法律角度商家一般不能以衣服蹭到轻微灰尘为由拒绝退款，但在实际操作中，还需要考虑商家的具体政策和实际情况。有些商家可能出于维护商品形象、减少退货纠纷等考虑，会制定一些相对严格的退货政策。如果商家在销售时已经明确告知消费者，衣服有轻微灰尘等轻微瑕疵不能退货，且消费者在购买时表示同意，那么商家拒绝退款可能是有合理依据的。

举例：商家在销售衣服时，在店内显著位置张贴了退货政策，明确说明衣服有轻微灰尘等瑕疵不能退货。消费者在购买时看到了该政策并表示接受。后来，消费者以衣服有轻微灰尘为由要求退货，商家拒绝。此时，商家的做法可能是合理的，因为消费者在购买时已经同意了商家的退货政策。

建议：如果消费者遇到商家以衣服蹭到轻微灰尘为由拒绝退款的情况，可以先与商家进行协商，了解商家拒绝退款的具体原因和依据。如果协商无果，消费者可以向当地的消费者协会或相关监管部门投诉，也可以考虑通过法律途径维护自己的合法权益。如果你有具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。