核心结论：针对“收钱没办事把钱退给中间人”这一情况，需分不同主体（收款方、中间人、委托方）及具体情形来分析后续处理方式，以下为你详细阐述。
若你是收款方
- 已全额退还且无纠纷：如果已经将收取的款项全额退还给中间人，且中间人没有提出异议，委托方（即实际要求办事的一方）也没有提出其他诉求，那么此事在金钱往来层面基本可以了结。不过，为了以防万一，建议保留好退款的相关凭证，如转账记录、收条等，这些凭证可以在后续可能出现的纠纷中作为你已经履行退款义务的证据。
- 退款后委托方仍有异议：若委托方认为你除了退款外，还应承担其他责任，比如赔偿其因你未办事而遭受的损失。此时，你需要根据具体情况来判断是否需要承担赔偿责任。如果委托方能够证明其损失与你的未办事行为之间存在直接的因果关系，并且你在收取款项时存在过错（如故意承诺能够办成但实际上无法做到），那么你可能需要承担一定的赔偿责任。但如果委托方无法证明损失与你的行为之间存在因果关系，或者你在收取款项时并没有过错（如因不可抗力等客观原因导致无法办事），那么你可以拒绝承担赔偿责任。在这种情况下，如果委托方坚持要求赔偿，可能会引发法律纠纷，你可以根据实际情况选择协商解决或者通过法律途径维护自己的权益。
- 退款未全额退还：如果你没有将收取的款项全额退还给中间人，那么中间人有权要求你退还剩余的款项。如果中间人向你主张权利，你应该及时退还剩余款项，以免引发不必要的法律纠纷。如果中间人将此事告知委托方，委托方也可能直接向你主张权利，要求你退还全部款项。在这种情况下，你同样应该及时退还，避免承担更严重的法律后果。
若你是中间人
- 已将款项转交收款方且收款方已退款：如果你已经将委托方交给你的款项转交给了收款方，并且收款方已经将款项退还给你，那么你应该及时将款项退还给委托方。在退款时，建议你与委托方签订一份退款协议，明确退款金额、退款时间等事项，以避免后续出现纠纷。
- 收款方未退款或未全额退款：如果收款方没有将款项退还给你或者没有全额退还，你应该及时与收款方沟通，要求其尽快退款。如果收款方拒绝退款或者拖延退款，你可以考虑采取法律手段维护自己的权益，如向法院提起诉讼。同时，你应该及时将情况告知委托方，让委托方了解事情的进展，并根据委托方的要求采取相应的措施。
若你是委托方
- 中间人已退还款项：如果中间人已经将你交给他的款项退还给你，那么此事在金钱往来层面已经解决。但如果你认为收款方除了退款外，还应承担其他责任（如赔偿损失），你可以根据上述收款方应承担责任的情形，与收款方进行协商或者通过法律途径解决。
- 中间人未退款或未全额退款：如果中间人没有将款项退还给你或者没有全额退还，你应该及时与中间人沟通，要求其尽快退款。如果中间人拒绝退款或者拖延退款，你可以考虑采取法律手段维护自己的权益，如向法院提起诉讼。在诉讼过程中，你需要提供相关的证据，如转账记录、委托合同等，以证明你与中间人之间存在委托关系以及中间人未履行退款义务的事实。
无论你处于哪种角色，在处理此类问题时，都应该保持冷静，尽量通过协商的方式解决问题。如果协商无果，再考虑通过法律途径维护自己的权益。如果你还有其他疑问，欢迎继续向我咨询。