结论：在退货时物品完好无损，但对方签收时衣物破损的情况下，责任归属需根据具体情况来判断，主要包括是否在运输过程中发生损坏、退货方是否尽到妥善包装义务、以及双方是否有特别约定等因素。

详细分析：

1. 运输过程中的损坏：

   • 如果衣物在退货的运输过程中发生损坏，且退货方能够证明在寄出时衣物是完好无损的（例如，通过拍照、录像或保留包装前的检查记录等方式），那么责任通常应由承运人承担。根据《中华人民共和国民法典》中关于运输合同的规定，承运人有义务将货物安全运输到约定地点，并在运输过程中妥善保管货物。如果货物在运输过程中发生损坏，承运人应承担赔偿责任。
   • 在此情况下，退货方应及时与承运人联系，提供相关证据，要求承运人进行赔偿。同时，退货方也应将此情况告知收货方，以便双方协商解决方案。

2. 退货方未尽到妥善包装义务：

   • 如果衣物在退货时因退货方未尽到妥善包装义务而导致损坏（例如，包装不严密、未使用适当的包装材料等），那么责任应由退货方承担。因为退货方有义务确保货物在运输过程中的安全，如果因包装不当导致货物损坏，退货方应自行承担责任。
   • 在此情况下，退货方可能需要与收货方协商赔偿事宜，或者根据收货方的要求重新发货或退款。

3. 双方特别约定：

   • 如果双方在退货协议中有特别约定（例如，约定退货方承担运输风险、或者约定在特定情况下由收货方承担损坏责任等），那么责任归属应按照约定执行。
   • 在此情况下，双方应仔细审查退货协议中的相关条款，并按照约定履行各自的责任。

建议与行动：

• 保留证据：无论哪种情况，退货方都应保留好相关证据（如寄出时的照片、录像、包装记录、运输单据等），以便在发生纠纷时证明自己的权益。
• 及时沟通：一旦发现衣物在签收时损坏，退货方应及时与收货方和承运人沟通，了解损坏原因，并协商解决方案。
• 寻求法律帮助：如果双方无法协商解决纠纷，退货方可以寻求法律帮助，通过法律途径维护自己的权益。

后续思考：

• 在未来的退货交易中，退货方应更加注意货物的包装和运输安全，确保货物在运输过程中不受损坏。
• 双方可以在退货协议中明确约定责任归属和赔偿方式，以减少纠纷的发生。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。