对于先私了后面反悔的情况，是否需要退回私了的钱，取决于具体的反悔理由及私了协议的有效性。以下是对此问题的详细分析：
一. 私了协议的法律效力
如果私了协议是在双方自愿、平等、协商一致的基础上达成的，且内容不违反法律、行政法规的强制性规定，那么该协议具有法律效力。在此情况下，如果一方反悔，除非能证明协议存在无效或可撤销的情形，否则通常需要履行协议，也就是说，反悔方可能需要继续履行私了协议中的金钱给付义务，而不是退回已支付的钱款。
如果私了协议存在欺诈、胁迫、显失公平等情形，或者协议内容违反法律、行政法规的强制性规定，那么该协议可能无效或可撤销。在此情况下，反悔方可以请求法院确认协议无效或撤销协议，并根据法院的判断来决定是否需要退回私了的钱。
二. 反悔后的处理方式
如果反悔方认为私了协议存在无效或可撤销的情形，可以依法向法院提起诉讼，请求确认协议无效或撤销协议。在诉讼过程中，法院将根据证据和法律规定来判断协议的有效性，并据此作出裁决。
如果反悔方直接拒绝履行私了协议，而另一方已经履行了协议中的义务（如支付了钱款），那么另一方可以依法向法院提起诉讼，要求反悔方履行协议或承担违约责任。在此情况下，法院将根据协议的有效性和双方的履行情况来作出裁决，可能包括要求反悔方继续履行协议、支付违约金或赔偿损失等。
三. 结论与建议
结论：先私了后面反悔是否需要退回私了的钱，取决于私了协议的有效性以及反悔的具体理由。如果协议有效且反悔方无合理理由，通常需要继续履行协议；如果协议无效或可撤销，或者反悔方有合理理由，那么可能需要根据法院的判断来决定是否需要退回私了的钱。
建议：在私了之前，双方应当充分协商并明确协议内容，确保协议的有效性和合法性。如果后续出现反悔情况，建议及时咨询专业律师并依法处理。如有进一步需要，您可以继续咨询我。