结论：在已经退货退款且退款到账的情况下，卖家申请仲裁判定买家责任并要求退还货款，买家是否需要退还，取决于仲裁裁决的结果以及双方合同的具体约定和相关法律规定。以下从不同角度进行分析：
一、仲裁裁决的效力
仲裁裁决的终局性：
- 仲裁裁决一旦作出，即具有终局性，对双方当事人均具有法律约束力。如果仲裁裁决判定买家需要退还货款，买家应当履行裁决义务，否则卖家可以申请法院强制执行。
对仲裁裁决的异议：
- 如果买家认为仲裁裁决存在错误，如程序违法、事实认定不清或法律适用错误等，可以在法定期限内向仲裁委员会所在地的中级人民法院申请撤销裁决。但撤销裁决的难度较大，需要满足法定条件。
二、合同约定与法律规定
合同约定：
- 双方签订的货物买卖合同中，应明确约定退货退款的条件、程序以及违约责任等。如果合同中明确约定了退货退款后买家无需再承担其他责任，那么卖家申请仲裁要求退还货款可能缺乏合同依据。
法律规定：
- 根据《中华人民共和国民法典》等相关法律规定，如果买家在退货退款过程中存在过错或违约行为，如故意损坏货物、未按时退货等，卖家有权要求买家承担相应的赔偿责任。但在此情况下，卖家需要提供充分的证据证明买家的过错或违约行为。
三、买家的应对策略
审查仲裁裁决：
- 买家应仔细审查仲裁裁决，了解裁决的具体内容和理由。如果认为裁决存在错误，可以考虑申请撤销裁决或向法院提出不予执行仲裁裁决的申请。
收集证据：
- 如果买家认为卖家申请仲裁缺乏依据，应积极收集证据证明自己的清白和合法权益。例如，提供退货的物流记录、退款凭证、与卖家的沟通记录等。
寻求法律帮助：
- 如果买家对仲裁裁决或卖家的要求存在疑问或不确定如何应对，可以寻求专业律师的法律帮助。律师可以根据具体情况为买家提供法律咨询、代理申诉或参与仲裁等法律服务。
四、可能面临的法律后果
履行裁决义务：
- 如果仲裁裁决判定买家需要退还货款，且买家未在法定期限内申请撤销裁决或提出不予执行的申请，买家应当履行裁决义务，否则可能面临法院的强制执行措施。
承担法律责任：
- 如果买家在退货退款过程中存在过错或违约行为，且卖家能够提供充分证据证明，买家可能需要承担相应的法律责任，如赔偿卖家的损失等。
建议：买家在面对卖家申请仲裁要求退还货款的情况时，应保持冷静并仔细审查仲裁裁决和合同约定。如有必要，可以寻求专业律师的法律帮助以维护自己的合法权益。同时，买家也应积极收集证据以证明自己的清白和合法权益。