关于到付对方拒收退回的收费问题，这确实是一个涉及多方责任和权益的问题。以下是对此问题的详细解答：
一、责任归属原则
有理由拒收：
- 如果收件人能够提出合理的抗议理由，如商品损坏、货物遗失、配送延迟或商品存在质量问题等，那么物流费用通常应由寄件者（卖家）或物流公司承担，具体责任归属需根据实际情况判断。
- 在这种情况下，收件人无需承担退回的运费，但应保存好相关证据以避免纠纷。
无理由拒收：
- 如果收件人无理由地拒绝接受货物，那么根据一般商业惯例和法律规定，退回的运费应由收件人（买家）自行承担。
- 这意味着，如果买家在没有任何合理理由的情况下拒收货物，他需要支付因拒收而产生的所有物流费用。
二、法律依据
- 根据《快递暂行条例》的相关规定，对于快件延误、丢失、损毁或内件短少的情况，如果快件已保价，则按照约定的保价规则确定赔偿责任；如果未保价，则依照民事法律的有关规定确定赔偿责任。
- 《中华人民共和国消费者权益保护法》也规定了消费者在无理由退货时需要承担退回商品的运费，除非经营者和消费者另有约定。
三、实际操作建议
对于卖家：
- 在发货前，应确保商品的质量、数量和包装等符合约定，以减少因商品问题导致的拒收情况。
- 如果发生拒收，应及时与买家沟通，了解拒收原因，并根据实际情况处理退货运费问题。
对于买家：
- 在签收前，应仔细检查商品的外包装和数量等，如有问题应及时拍照留证并拒收。
- 如果无理由拒收，应了解并承担可能产生的退货运费责任。
综上所述，到付对方拒收退回的收费问题需要根据具体情况来判断。如果是有理由拒收，责任通常应由寄件者或物流公司承担；如果是无理由拒收，则应由收件者自行承担退回的运费。在处理此类问题时，建议双方保持沟通，并依据相关法律法规和商业惯例来妥善处理。