结论：私下赔偿后对方反悔，能否要回钱取决于多种因素，包括赔偿协议的性质、是否已履行完毕、对方反悔的理由以及是否存在可撤销或无效的情形等。以下从不同角度进行分析：
一、赔偿协议已履行完毕，对方反悔
若赔偿协议合法有效且已履行完毕：
- 一般情况下，一旦赔偿协议合法有效且双方已按照协议履行完毕，即意味着双方的权利义务已经终结。此时，对方反悔并要求返还赔偿款，通常缺乏法律依据，法院不会支持。
- 法律依据：根据《中华人民共和国民法典》的相关规定，依法成立的合同，对当事人具有法律约束力。当事人应当按照约定履行自己的义务，不得擅自变更或者解除合同。
若存在可撤销或无效的情形：
- 如果赔偿协议是在受胁迫、欺诈、重大误解等情形下签订的，或者协议内容违反法律、行政法规的强制性规定，那么该协议可能被撤销或认定为无效。
- 操作建议：在此情况下，你可以收集相关证据（如胁迫、欺诈的证据，或者协议内容违法的证据），向法院提起诉讼，请求撤销或确认协议无效，并要求对方返还赔偿款。
二、赔偿协议未履行完毕，对方反悔
若对方反悔导致协议无法继续履行：
- 如果对方明确表示不再履行赔偿协议，或者以自己的行为表明不再履行，那么你可以根据协议约定或法律规定，要求对方承担违约责任，包括继续履行、采取补救措施或者赔偿损失等。
- 操作建议：你可以先与对方协商，尝试达成新的和解协议。如果协商不成，你可以向法院提起诉讼，要求对方承担违约责任。
若对方反悔的理由成立（如赔偿金额过高）：
- 如果对方能够证明赔偿金额过高，显失公平，那么法院可能会根据实际情况调整赔偿金额。但这并不意味着你可以直接要回已支付的赔偿款，而是可能需要根据法院的判决进行相应的调整。
- 法律依据：根据《中华人民共和国民法典》的相关规定，显失公平的合同，受损害方有权请求人民法院或者仲裁机构予以撤销。但撤销权的行使有一定的期限限制，且需要提供充分的证据证明合同显失公平。
三、特殊情况：赔偿协议涉及刑事犯罪
- 如果赔偿协议涉及刑事犯罪（如敲诈勒索、诈骗等），那么该协议自始无效。在此情况下，你可以向公安机关报案，并要求对方返还已支付的赔偿款。
- 操作建议：收集相关证据（如转账记录、聊天记录等），向公安机关报案，并配合公安机关的调查工作。如果公安机关立案侦查并认定对方构成犯罪，那么你可以通过刑事附带民事诉讼或者单独提起民事诉讼的方式，要求对方返还赔偿款。
综合建议：
- 在处理此类纠纷时，建议你先与对方协商，尝试达成和解协议。如果协商不成，你可以收集相关证据，向法院提起诉讼或者向公安机关报案。
- 在整个过程中，建议你保持冷静和理性，不要采取过激行为或者违法手段来维护自己的权益。
- 如果你对法律程序或者证据收集等方面存在疑问或者困惑，可以直接向我咨询，我会根据你的具体情况提供专业的法律建议和帮助。