核心结论：若遇到办贷款中间人不给退钱的情况，你可以通过协商、投诉、诉讼等途径来维护自己的合法权益，具体如下：

1. 与中间人协商
   • 尝试友好沟通：首先，你可以主动联系中间人，以平和、理性的态度与其沟通，明确表达你要求退钱的诉求。在沟通中，要详细说明你支付款项的原因、金额以及你认为应该退款的理由，比如可能是贷款未办理成功、中间人存在违约行为等。通过友好协商，有可能双方能够达成一致，中间人主动退还钱款，这是最为便捷和经济的解决方式。
   • 保留沟通记录：在协商过程中，无论是通过电话、短信还是其他通讯方式，都要注意保留好相关的沟通记录。这些记录可以作为后续解决纠纷的证据，证明你曾经积极与中间人沟通并要求退款。
2. 向相关部门投诉
   • 金融监管部门：如果中间人是在办理贷款业务过程中收取了你的费用且存在违规行为，你可以向当地的金融监管部门进行投诉。金融监管部门负责对金融机构和金融业务活动进行监督管理，对于中间人在贷款业务中的不规范操作，他们有权进行调查和处理。在投诉时，你需要提供详细的证据材料，如与中间人签订的合同、付款凭证、沟通记录等，以便监管部门能够准确了解情况并开展调查。
   • 消费者协会：如果中间人的行为涉及到欺诈、虚假宣传等侵害消费者权益的问题，你也可以向当地的消费者协会投诉。消费者协会是依法成立的对商品和服务进行社会监督的保护消费者合法权益的社会组织，他们会根据你提供的情况，协助你与中间人进行调解，促使中间人退还钱款。同样，在投诉时，要准备好相关的证据材料，以支持你的诉求。
3. 通过法律途径解决
   • 提起民事诉讼：如果协商和投诉都无法解决问题，你可以考虑向法院提起民事诉讼。在诉讼前，你需要收集充分的证据来证明中间人收取你的钱款没有合法依据或者存在违约、欺诈等行为。证据可以包括合同、付款凭证、沟通记录、证人证言等。然后，你可以撰写起诉状，明确你的诉讼请求、事实和理由，并向有管辖权的法院提交起诉状和相关证据材料。法院会根据双方提供的证据和法律规定进行审理，并作出判决。如果判决中间人退还钱款，而中间人拒不履行判决，你可以向法院申请强制执行。
   • 注意诉讼时效：在提起民事诉讼时，要注意诉讼时效的问题。一般来说，向人民法院请求保护民事权利的诉讼时效期间为三年，自权利人知道或者应当知道权利受到损害以及义务人之日起计算。因此，你要在诉讼时效期间内及时提起诉讼，以免丧失胜诉权。

在处理此类问题时，一定要保持冷静，依法维护自己的权益。如果你在具体操作过程中有任何疑问，可以直接向我咨询。