关于“穿过的衣服退给商家了，衣服是谁的责任”这一问题，需要分情况讨论，具体如下：

1. 若衣服存在质量问题：

   • 根据《消费者权益保护法》的相关规定，如果消费者购买的商品存在质量问题，如破损、瑕疵、与描述不符等，消费者有权要求商家进行退货、换货或修理。在这种情况下，即使衣服已经被穿过，只要能够证明质量问题在购买时即已存在，或者是在正常使用过程中因商品本身的质量问题而出现，那么责任应由商家承担。
   • 举例：如果消费者购买了一件新衣服，穿了一次后发现衣服有开线或染色不均等质量问题，那么消费者有权要求商家退货或换货。

2. 若衣服不存在质量问题，但消费者因个人原因要求退货：

   • 一般情况下，如果衣服不存在质量问题，而是因为消费者个人原因（如不喜欢、尺码不合适等）要求退货，且商家在销售时已明确告知不退换货或已超过退换货期限，那么商家有权拒绝消费者的退货请求。在这种情况下，责任应由消费者自行承担。
   • 特殊情况：然而，如果商家在销售时承诺了无理由退换货服务，或者消费者能够证明商家在销售过程中存在欺诈行为（如虚假宣传、误导消费者等），那么消费者仍有权要求退货，且责任可能由商家承担。但这种情况需要消费者提供充分的证据来支持其主张。
   • 举例：如果商家在销售时明确告知消费者“本店商品一经售出，概不退换”，且衣服不存在质量问题，那么消费者因个人原因要求退货时，商家有权拒绝。但如果商家在销售时承诺了“7天无理由退换货”，那么消费者在购买后7天内因个人原因要求退货时，商家应予以接受。

3. 若衣服在退货过程中出现损坏或丢失：

   • 如果衣服在退货过程中因消费者的原因（如包装不当、运输过程中的疏忽等）出现损坏或丢失，那么责任应由消费者承担。消费者可能需要赔偿商家因此遭受的损失。
   • 举例：如果消费者在退货时未对衣服进行妥善包装，导致衣服在运输过程中损坏，那么消费者需要承担相应的赔偿责任。

法律建议：

• 在购买衣服时，消费者应仔细检查商品的质量和描述，确保符合自己的需求和期望。
• 如果消费者需要退货，应先与商家沟通并了解商家的退换货政策。如果商家同意退货，消费者应按照商家的要求妥善包装商品并保留好相关凭证（如购物发票、退换货单等）。
• 如果消费者与商家在退换货问题上发生争议，可以寻求消费者协会或相关部门的帮助来维护自己的合法权益。

总结：穿过的衣服退给商家后，衣服的责任归属取决于衣服是否存在质量问题、消费者退货的原因以及退货过程中是否出现损坏或丢失等因素。因此，在处理此类问题时，需要综合考虑各种因素并依据相关法律法规进行判断。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。