结论：衣服存在质量问题时，消费者一般不可以仅退款，但具体能否仅退款需根据实际情况判断，如双方有明确约定、商家自愿同意或符合特定平台规则等情形下，消费者可以要求仅退款。
详细分析：
双方有明确约定：
- 如果消费者和商家在购买时明确约定，出现特定质量问题时消费者有权仅退款，那么消费者可以按照约定要求仅退款。这种约定可以是口头的，但最好是书面的，如合同、协议或商家的相关承诺等，以便在发生争议时作为证据。
商家自愿同意：
- 在某些情况下，商家可能出于维护客户关系或避免争议等考虑，自愿同意消费者仅退款。这种情况下，消费者可以要求仅退款，但同样建议确保商家的同意以书面形式记录，以便后续维权使用。
特定平台规则：
- 如果是在电商平台购物，部分平台为了保障消费者权益，会制定关于商品质量问题的处理规则。这些规则可能因平台而异，但通常会在商品质量问题严重时支持消费者的仅退款诉求，如商品存在严重破损、与描述严重不符等影响正常使用的情形。然而，如果质量问题相对轻微，平台可能会协调商家为消费者提供维修、换货、补偿差价等解决方案，而非直接支持仅退款。
法律规定层面：
- 根据《中华人民共和国消费者权益保护法》第二十四条的规定，经营者提供的商品或服务不符合质量要求的，消费者可以依照国家规定或双方约定进行退货，或者要求经营者履行更换、修理等义务。在没有国家规定和当事人约定的情况下，消费者可以在收到商品后的七日内进行退货。七日后若符合法定解除合同条件，消费者仍可以及时退货；若不符合，则有权要求经营者进行更换或修理。法律并未直接提及“仅退款”的权利，而是强调了退货、更换、修理等解决方式。因此，从法律层面看，仅退款并非消费者的普遍权利。
实际操作建议：
- 保留证据：在要求退款时，消费者应保留好购物凭证（如发票、收据）以及能证明衣服质量问题的证据（如照片、视频）。
- 与商家沟通：首先尝试与商家进行沟通协商，说明问题的具体情况，并尝试达成退货、更换、修理或仅退款等解决方案。
- 利用平台规则：如果是在电商平台购物，可以了解并利用平台的规则来维护自己的权益。
- 投诉与维权：如果商家拒绝合理要求或消费者对处理结果不满意，可以向当地的消费者权益保护机构投诉，寻求帮助和支持。在必要时，还可以考虑寻求法律援助，通过法律途径维护自己的合法权益。
特殊情况说明：
- 如果衣服存在严重影响正常使用功能、不符合质量标准等重大质量问题，且商家拒绝退货或仅退款，消费者可以依据《中华人民共和国消费者权益保护法》等相关法律法规进行维权。
- 在某些情况下，如商家存在欺诈行为（如虚假宣传、以次充好等），消费者还可以要求商家承担惩罚性赔偿责任，即退一赔三。但这一权利的行使需要满足一定的条件，并需要消费者提供充分的证据来证明商家的欺诈行为。
综上所述，衣服存在质量问题时，消费者应依据法律规定、双方约定及电商平台规则与商家进行沟通协商，寻求最合适的解决方案。在特定情况下，如双方有明确约定、商家自愿同意或符合特定平台规则等，消费者可以要求仅退款。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。