结论前置：车祸私了后对方反悔，是否需要退回保险赔偿金需分情况讨论，具体如下：

1. 若私了协议合法有效且已履行完毕
   根据《民法典》第502条，依法成立的合同受法律保护。若双方签署的私了协议（赔偿协议）内容合法、意思表示真实，且保险赔偿金已按协议支付给对方，则对方反悔要求退回缺乏法律依据。此时您无需退回赔偿金，对方若强行索要可能构成不当得利。
   例外情形：若协议存在重大误解、欺诈、胁迫或显失公平（如赔偿金额远低于实际损失），对方可在知道撤销事由之日起1年内申请法院撤销协议，此时可能需重新协商或通过诉讼解决。

2. 若私了协议未履行或保险赔偿未支付

   • 若对方反悔前您未向保险公司申请理赔：此时协议未实际履行，对方反悔可能导致协议解除。若您已向保险公司报案但未获赔，需根据保险公司要求决定是否继续理赔流程。若保险公司已受理但未赔付，您需与保险公司沟通协议解除事宜，可能需撤回理赔申请。
     
   • 若对方反悔前您已获保险公司赔付但未支付给对方：此时赔偿金属于您所有，对方无权要求退回。但若对方能证明协议存在可撤销情形（如上述），可能通过诉讼要求您返还部分或全部赔偿金。

3. 若私了协议涉及保险欺诈风险
   根据《保险法》第176条，若双方通过私了协议虚构事故、伪造证据或夸大损失以骗取保险金，可能构成保险诈骗罪。此时即使对方反悔，您也需主动向保险公司说明情况并退回全部赔偿金，否则可能面临刑事责任。

实务建议：

• 私了前务必核实对方身份、事故责任及损失情况，建议签署书面协议并留存证据（如现场照片、医疗记录、证人联系方式等）。
  
• 若涉及保险理赔，优先通过保险公司定损程序确定赔偿金额，避免私下协商导致理赔纠纷。
  
• 若对方反悔，可要求其出具书面撤销协议的通知，并保留沟通记录（如短信、录音），必要时通过法律途径维护权益。
  

如有进一步疑问，可直接向我咨询具体操作流程。