在退货商品运输过程中损坏的责任归属，需根据具体情况来判断，一般有以下几种情况：
若退货协议中明确约定了运输风险承担方：
- 如果买卖双方在退货协议中已经明确约定了运输过程中商品损坏的风险由哪一方承担，那么就应当按照协议中的约定来执行。这是基于合同自由原则，双方有权在合同中约定各自的权利和义务。
若退货协议中未明确约定运输风险承担方：
- 根据《中华人民共和国民法典》的相关规定：在货物运输过程中，如果货物损坏是由于承运人的责任造成的，那么承运人应当承担赔偿责任。这通常适用于买卖双方没有明确约定运输风险，且损坏是由于承运人（如快递公司）的过失或故意行为导致的。
- 若损坏非承运人责任：在这种情况下，如果退货是由于买方的原因（如买方反悔、商品不符合买方要求等），且运输过程中商品损坏并非承运人责任，那么根据一般法律原则，买方可能需要承担一定的风险。然而，如果卖方在接收退货时未对商品进行及时检验或未提出异议，也可能被视为卖方接受了退货商品的状态，从而减轻或免除买方的责任。但具体责任划分还需根据实际情况和证据来判断。
- 特殊商品或情况：对于某些特殊商品（如易碎品、贵重物品等），如果卖方在发货时已经采取了特殊的包装或保护措施，并在退货协议中明确提示了买方注意运输风险，那么买方在退货时可能需要承担更高的注意义务。如果买方未按照卖方的提示进行操作，导致商品在运输过程中损坏，买方可能需要承担相应的责任。
法律建议：
- 明确退货协议：在退货前，买卖双方应当明确退货协议中的各项条款，包括运输风险的承担方、退货商品的验收标准等，以避免后续纠纷。
- 保留证据：在退货过程中，买卖双方都应当保留好相关证据，如退货协议、运输单据、商品损坏照片等，以便在发生纠纷时能够证明自己的主张。
- 及时沟通：如果退货商品在运输过程中出现损坏，买卖双方应当及时沟通，协商解决方案。如果无法协商一致，可以考虑通过法律途径解决纠纷。
可能后果：
- 如果责任归属明确，且双方能够按照约定或法律规定承担责任，那么纠纷通常能够得到妥善解决。
- 如果责任归属不明确或双方对责任承担有争议，那么可能需要通过诉讼或仲裁等法律途径来解决纠纷，这可能会耗费双方的时间和精力，并可能产生额外的法律费用。
总结来说，退货商品运输过程中损坏的责任归属需根据具体情况来判断。为了避免纠纷的发生，买卖双方应当在退货前明确退货协议中的各项条款，并保留好相关证据。如果发生纠纷，应当及时沟通并考虑通过法律途径解决。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。