私自退回他人货物属于不恰当行为，可能涉及民事侵权甚至违约责任，具体处理方式需结合货物性质、退回原因及双方关系综合判断。以下是具体分析：

1. 若涉及合同关系（如买卖、委托等）
   若双方存在书面或口头合同，私自退回货物可能构成违约。根据《民法典》第577条，违约方需承担继续履行、赔偿损失等责任。例如：

   • 买方无正当理由拒收货物，卖方可要求支付货款或赔偿运费、保管费等损失；
     
   • 卖方未经同意退回已交付货物，买方可要求重新交付或解除合同并索赔。
     建议：立即与对方沟通，说明退回原因（如质量问题、交货延迟等），协商补救措施（如换货、退款）；若协商无果，需保留合同、沟通记录等证据，通过诉讼或仲裁解决。

2. 若涉及无因管理或不当得利
   若货物系误送、错发或无合法依据占有（如代收后私自退回），可能构成不当得利或侵权。根据《民法典》第985条，受损失方有权要求返还货物或赔偿损失。例如：

   • 快递员误将他人包裹送至你家，你私自退回导致包裹丢失，需赔偿实际损失；
     
   • 朋友委托你保管物品，你未经同意退回，可能需承担赔偿责任。
     建议：立即联系权利人说明情况，配合返还货物；若已造成损失，主动协商赔偿；若对方主张过高赔偿，可要求其提供损失证明。

3. 若涉及特殊货物（如危险品、易腐品）
   若货物性质特殊（如食品、化学品），私自退回可能导致扩大损失（如变质、泄漏），此时退回方可能需承担加重责任。例如：

   • 接收方因储存条件不足私自退回生鲜货物，导致货物腐烂，需赔偿全部损失；
     
   • 退回危险化学品未采取防护措施，引发安全事故，可能涉及刑事责任。
     建议：处理特殊货物前，务必确认合同约定或法律规定，优先通过专业物流退回；若已私自退回，立即采取补救措施（如通知对方、协助处理）并保留证据。

总结：私自退回他人货物的法律后果取决于具体情境，但核心原则是“不得损害他人权益”。若已发生此类行为，建议：

1. 立即停止退回行为（若货物仍在途中）；
   
2. 主动联系对方说明情况，协商解决方案；
   
3. 保留所有沟通记录、货物凭证等证据；
   
4. 若协商无果或对方主张不合理，可向我进一步咨询具体应对策略。