结论：是否需要退钱，取决于一次性解决赔偿协议的效力、履行情况以及公司反诉的具体理由和证据。以下从不同角度进行分析：
一、协议效力与履行情况
协议有效且已履行：
- 如果双方签订的一次性解决赔偿协议是真实、合法、有效的，并且双方已经按照协议内容完全履行了各自的义务（例如，公司已经支付了赔偿金，你也已经接受了赔偿并承诺不再就相关事宜提起诉讼或主张权利），那么公司反诉要求退钱通常是没有法律依据的。
- 在这种情况下，你可以主张协议已经履行完毕，公司无权要求退还已支付的赔偿金。
协议存在瑕疵或未履行：
- 如果协议存在重大误解、显失公平、欺诈、胁迫等情形，或者双方并未按照协议内容完全履行各自的义务（例如，公司未支付足额赔偿金，或者你未按照协议放弃相关权利），那么公司反诉要求退钱可能有一定的法律依据。
- 在这种情况下，你需要根据协议的具体内容和履行情况，以及相关法律法规，来评估公司的反诉请求是否合理，并准备相应的证据来支持你的主张。
二、公司反诉的具体理由和证据
反诉理由充分且证据确凿：
- 如果公司能够提供充分的证据证明你存在违约行为（例如，你违反了协议中的保密条款、竞业限制条款等），或者协议本身存在无效或可撤销的情形（例如，协议是在你受到欺诈或胁迫的情况下签订的），那么公司反诉要求退钱可能会得到法院的支持。
- 在这种情况下，你需要认真审查公司的反诉理由和证据，并准备相应的反驳证据和法律依据来维护你的权益。
反诉理由不充分或证据不足：
- 如果公司无法提供充分的证据来支持其反诉请求，或者其反诉理由与协议内容、法律法规相悖，那么公司反诉要求退钱可能会被法院驳回。
- 在这种情况下，你可以主张公司的反诉请求缺乏事实和法律依据，并请求法院驳回其反诉。
三、法律建议
审查协议内容：
- 仔细审查一次性解决赔偿协议的内容，确保协议的真实性、合法性和有效性。
- 如果协议存在瑕疵或未履行的情况，及时与对方协商解决或寻求法律途径解决。
收集证据：
- 收集与协议履行相关的证据（如支付凭证、收据、协议文本等），以证明你已经按照协议内容履行了义务。
- 如果公司提出反诉，收集反驳证据来支持你的主张。
寻求法律帮助：
- 如果你对协议效力、履行情况或公司反诉请求存在疑问，可以向我咨询，我会根据你的具体情况提供专业的法律建议。
- 在必要时，可以委托律师代理诉讼或仲裁程序，以维护你的合法权益。
最后，是否需要退钱取决于多种因素的综合考量。如果你对具体情况存在疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供专业的法律建议。