结论：是否需要退款不能一概而论，需根据货款性质、双方约定及法律规定综合判断。以下从不同角度为您详细分析：

一、若货款属于对方误转或不当得利

1. 法律背景
   根据《民法典》第九百八十五条，不当得利指没有法律根据取得不当利益，造成他人损失的，应当返还。若对方能证明货款系误转（如转账记录备注错误、双方无业务往来等），您构成不当得利，需全额退还。

2. 例外情形

   • 若您能证明货款是对方偿还的历史债务（如借条、聊天记录等），可主张抵销，无需退款。
     
   • 若双方存在其他交易关系（如对方曾欠您货款，此次转账是部分还款），需结合证据判断是否构成合法抵销。

二、若货款属于双方约定的合法交易

1. 合同履行角度
   若您与对方存在书面或口头合同，且合同约定货款应支付至公户（如采购合同、服务合同等），则对方要求退款可能构成违约。您可拒绝退款，并要求对方继续履行合同（如提货、接受服务等）。

2. 证据要求

   • 需保留合同、送货单、发票等证据，证明货款与交易对应。
     
   • 若对方主张“未收到货”或“服务不合格”，您需提供履行证明（如物流记录、验收单等），否则可能面临退款风险。

三、若对方以“借款”名义要求退款

1. 法律关系转化
   若对方主张货款是“借款”而非交易款，需由对方举证（如借条、借款合意证据）。若无法证明，法院通常按实际法律关系（如买卖、服务）审理，您无需退款。

2. 风险提示

   • 若您曾出具借条或承诺还款，可能被认定为借贷关系，需返还。
     
   • 若公户收款后，您将资金用于个人用途（如转账至私人账户），可能被认定为“财产混同”，增加退款风险。

四、实务建议

1. 立即固定证据

   • 保存转账记录、合同、沟通记录（微信、邮件等）。
     
   • 若对方通过诉讼主张退款，您需在15日答辩期内提交证据，否则可能败诉。

2. 协商优先

   • 若对方确属误转，可协商分期退款或扣除合理费用（如手续费）。
     
   • 若存在争议，建议签署书面协议明确款项性质，避免后续纠纷。

3. 法律程序应对

   • 若收到法院传票，务必出庭应诉，否则可能被缺席判决。
     
   • 可主张“同时履行抗辩权”（如对方未付款，您有权拒绝交货），但需证据支持。

总结：是否退款需结合货款性质、双方约定及证据综合判断。建议您梳理交易背景、固定证据，并根据对方主张制定应对策略。如有进一步疑问，可直接向我咨询具体案情。