结论是：这个钱是有可能要回来的，但具体能否要回以及要回的难度，取决于多个因素，包括是否有证据证明中介拿走了钱、中介的行为性质以及诉讼时效等。以下是从不同角度进行的分析：
一、证据收集与证明
无借条的补救措施：
- 虽然没有借条，但如果有其他证据能够证明中介拿走了这40万贷款，比如转账记录、聊天记录、证人证言等，这些都可以作为证据来支持你的主张。
- 你可以尝试与中介沟通，要求其出具书面说明或确认函，明确其拿走了贷款并承诺归还。如果中介拒绝，这些沟通记录也可以作为证据。
证据的重要性：
- 在法律诉讼中，证据是决定胜负的关键。因此，你需要尽可能收集并保存所有与案件相关的证据。
- 如果证据不足或无法证明中介拿走了贷款，那么你的主张可能会面临较大的困难。
二、中介行为的性质
不当得利：
- 如果中介没有合法依据拿走了你的贷款，那么其行为可能构成不当得利。根据《民法典》的相关规定，不当得利人应当返还取得的利益。
- 你可以以不当得利为由，向法院提起诉讼，要求中介返还贷款。
诈骗或欺诈：
- 如果中介在拿走贷款时存在欺诈或诈骗行为，比如虚构事实、隐瞒真相等，那么其行为可能构成诈骗或欺诈。
- 在这种情况下，你可以向公安机关报案，要求追究中介的刑事责任，并同时提起民事诉讼，要求中介返还贷款并赔偿损失。
三、诉讼时效
诉讼时效的规定：
- 根据《民法典》的相关规定，向人民法院请求保护民事权利的诉讼时效期间为三年。诉讼时效期间自权利人知道或者应当知道权利受到损害以及义务人之日起计算。
- 因此，你需要在知道或应当知道中介拿走贷款之日起三年内提起诉讼，否则可能会面临诉讼时效届满的风险。
诉讼时效的中断与延长：
- 如果在诉讼时效期间内，你向中介主张过权利（比如要求其返还贷款），或者中介同意履行义务（比如承诺归还贷款），那么诉讼时效可能会中断并重新计算。
- 在某些特殊情况下，法院也可以根据权利人的申请决定延长诉讼时效期间。
四、建议与措施
尽快收集证据：
- 你需要尽快收集并保存所有与案件相关的证据，包括转账记录、聊天记录、证人证言等。
与中介协商：
- 在提起诉讼之前，你可以尝试与中介进行协商，要求其返还贷款。如果协商成功，那么可以避免诉讼带来的时间和精力成本。
提起诉讼：
- 如果协商无果，或者中介拒绝返还贷款，那么你可以向法院提起诉讼，要求中介返还贷款并赔偿损失。
寻求法律援助：
- 如果你在诉讼过程中遇到困难或问题，可以寻求法律援助或咨询专业律师的意见。
最后需要强调的是，每个案件的具体情况都有所不同，因此上述分析仅供参考。如果你面临类似的问题，建议直接向我咨询，以便根据具体情况提供更准确的法律建议。