核心结论：您需要先判断对方反悔是否有合理依据，再根据不同情况采取相应措施，若对方无合理理由反悔，您无需返还4000元；若对方有合理理由，您可能需要返还部分或全部款项。以下是具体分析：
对方反悔无合理依据的情况
- 双方自愿达成私了协议：如果当时双方是在平等、自愿、公平的基础上，就车辆保险杠被撞出坑的赔偿事宜达成了一致，对方支付给您4000元作为赔偿，且这个金额是双方认可的合理赔偿范围，那么这份私了协议是具有法律效力的。
- 法律依据：根据《中华人民共和国民法典》第四百六十五条规定，依法成立的合同，受法律保护。依法成立的合同，仅对当事人具有法律约束力，但是法律另有规定的除外。这里的私了协议就相当于一份合同，双方都应当按照协议履行自己的义务。
- 应对措施：在这种情况下，对方反悔要求您返还4000元是没有法律依据的，您可以拒绝对方的要求。如果对方持续纠缠，您可以保留好当时私了的相关证据，如聊天记录、转账记录、现场照片等，以备不时之需。若对方采取威胁、骚扰等不当行为，您可以向公安机关报案。
对方反悔有合理依据的情况
- 存在重大误解：如果对方在支付4000元时，对车辆受损情况存在重大误解，例如误以为只是保险杠表面有轻微凹陷，实际车辆内部还有其他部件受损，且修复费用远高于4000元，那么对方可以在知道或者应当知道撤销事由之日起九十日内行使撤销权。
- 法律依据：根据《中华人民共和国民法典》第一百四十七条规定，基于重大误解实施的民事法律行为，行为人有权请求人民法院或者仲裁机构予以撤销。
- 应对措施：如果对方能够证明存在重大误解，且在法定期限内行使了撤销权，那么您可能需要返还对方支付的4000元。不过，您也可以要求对方提供车辆实际受损情况及修复费用的相关证据，以确定合理的赔偿金额。如果双方对赔偿金额无法达成一致，可以通过协商、调解或者诉讼等方式解决。
- 显失公平：如果车辆保险杠受损的修复费用明显低于4000元，而对方由于缺乏经验或者处于明显劣势地位，被迫支付了远高于实际损失的赔偿金额，那么这种情况可能构成显失公平。对方也有权在知道或者应当知道撤销事由之日起一年内请求人民法院或者仲裁机构予以撤销。
- 法律依据：根据《中华人民共和国民法典》第一百五十一条规定，一方利用对方处于危困状态、缺乏判断能力等情形，致使民事法律行为成立时显失公平的，受损害方有权请求人民法院或者仲裁机构予以撤销。
- 应对措施：若对方能证明存在显失公平的情况并行使撤销权，您可能需要返还部分超出实际损失的款项。同样，您也可以要求对方提供车辆实际修复费用等证据，通过合理途径确定最终赔偿金额。
如果您在处理此事过程中遇到任何疑问或需要进一步的法律帮助，可以直接向我咨询，我会为您提供详细、专业的解答。