代发方并不必然要承担所有的退货责任，具体责任划分需依据双方合同约定及法律规定来确定。以下从不同角度为您详细分析：

一、合同约定优先

在“一件代发”模式中，销售方与代发方之间的权利义务关系主要通过合同来约定。如果双方在合同中明确约定了退货责任的承担方，那么应当按照合同约定来执行。例如，若合同中规定代发方需承担一定比例的退货责任，那么代发方就需按照此约定来履行。

二、无约定时的责任划分

若双方对退货责任没有明确约定，那么就需要根据交易性质、目的、习惯以及诚信、公平原则来确定双方的权利义务。

1. 交易目的与性质：

   • 如果销售方并非出于自身消费需要下单，而是有明显盈利目的的商业行为，那么其通常不享有法定的七天无理由退货权。在此情况下，代发方承担的退货责任可能会受到限制。

2. 交易习惯与双方行为：

   • 代发方同意以一定退货率进行“一件代发”的，该退货率可视为代发方所承担的售后义务范围。例如，若双方约定退货率为8%，则代发方在总单数的8%范围内承担退货责任。
   • 代发方已提供地址接收消费者退货的，若其拒收退货导致损失扩大，则可能需对退件遗失的损失承担一定责任。法院可能会根据公平原则，酌定代发方对丢失退件承担一定比例的退款责任。

3. 风险与收益相一致原则：

   • 在对售后、退款义务没有明确约定时，有定价权的销售方在交易中占据核心地位，是主要的收益方。代发方获取的是固定的批发价收益，无法预知销售方具体销售策略带来的销售风险。因此，代发方不应对因滞销退货带来的经营风险再承担责任，否则有悖于风险与收益相一致的理论规定的权利义务平衡。

三、实际案例参考

以广州互联网法院审理的一起案件为例，销售方李某与代发方服饰商行约定以“一件代发”模式交易，但对合同义务没有明确约定。后消费者大量退货，服饰商行在签收部分退件后拒收了部分退件，导致部分退件遗失。法院经审理后判决，服饰商行需向李某支付已签收退件的货款及部分拒收退件的货款，同时根据公平原则酌定服饰商行对丢失退件承担一定比例的退款责任。这一案例充分说明了在无明确约定时，法院会根据实际情况和公平原则来划分双方的责任。

四、建议与提醒

1. 明确合同约定：

   • 销售方与代发方在签订合同时，应明确约定退货责任的承担方、退货率、退货流程等关键条款，以避免后续分歧。

2. 了解交易风险：

   • 双方应充分了解“一件代发”模式下的交易风险，包括退货风险、滞销风险等，并在合同中约定相应的风险承担机制。

3. 及时沟通协商：

   • 在交易过程中，双方应保持及时沟通，协商解决可能出现的退货问题。若无法协商解决，可寻求法律途径来维护自身权益。

综上所述，代发方是否承担所有的退货责任需依据双方合同约定及法律规定来确定。在无明确约定时，法院会根据实际情况和公平原则来划分双方的责任。因此，建议您在签订合同时明确约定相关条款，以降低交易风险。如有任何法律问题，欢迎直接向我咨询。