结论：是否需要将钱退回给办事人，需根据双方最初约定、事情办成的具体原因以及是否存在其他约定或承诺等因素综合判断。以下从不同角度进行分析：
若双方最初有明确约定：
- 如果在托人办事时，双方明确约定了“事情办不成则退款，事情办成则不退款”或者类似的具体条款，那么按照约定执行即可。在此情况下，由于事情最终办成，且退款行为发生在事情办成之前，若没有其他特殊约定，你通常无需再将钱退回给办事人。
若双方最初没有明确约定或约定不明确：
- 从公平原则角度：如果双方最初没有明确的约定，或者约定非常模糊，那么可以考虑从公平原则出发。办事人为了促成事情的办理，可能付出了一定的努力、时间或资源，即使最终事情办成并非完全依赖于办事人的直接行为，但考虑到其可能产生的间接贡献，你可以与办事人协商，根据实际情况决定是否退回部分或全部款项。
- 从法律关系角度：如果托人办事的行为涉及违法或违规（例如，通过不正当手段获取工作机会），那么这种行为本身就不受法律保护。在此情况下，退款或继续持有款项都可能涉及法律风险，建议咨询专业法律意见，以避免潜在的法律纠纷。不过，从一般社会道德和公平交易的角度出发，如果事情最终办成，且办事人没有从中获取不正当利益，你退回款项可能更为合理。
若存在其他约定或承诺：
- 如果在退款后，双方又达成了新的约定或承诺，例如办事人表示愿意继续为你提供其他服务或帮助，而你同意不退回款项作为对价，那么按照新的约定执行即可。
建议：
- 沟通协商：首先，建议与办事人进行坦诚的沟通，了解对方的想法和期望，共同协商一个双方都能接受的解决方案。
- 保留证据：无论最终决定如何，都建议保留好相关的证据，如转账记录、聊天记录、书面协议等，以备不时之需。
- 法律咨询：如果双方无法达成一致，或者对法律关系存在疑问，建议咨询专业律师，以获取更具体的法律建议。
可能后果：
- 如果选择不退回款项，且办事人认为不合理，可能会引发纠纷或诉讼，你需要做好应对准备。
- 如果选择退回款项，虽然可能避免了纠纷，但也可能让你感到不公平或损失。因此，在做出决定前，请务必权衡利弊，考虑清楚。
如有任何进一步的问题或需要更具体的法律建议，请直接向我咨询。