结论：尽管贷款中介口头说明合同为委托合同且有录音，但为了保障自身权益，仍建议要回合同书。以下从多个角度进行分析：

一、口头约定的局限性

1. 证明力较弱：口头约定在法律上虽然具有一定的效力，但其证明力相较于书面合同要弱得多。在发生纠纷时，口头约定往往难以作为直接证据来支持自己的主张。
2. 易产生争议：由于口头约定缺乏明确的文字记录，双方在理解上可能存在差异，从而引发争议。例如，对于合同的具体条款、履行方式等，双方可能因记忆模糊或理解不同而产生分歧。

二、书面合同的重要性

1. 明确双方权利义务：书面合同能够详细记录双方的权利和义务，包括合同类型、合同期限、违约责任等关键信息。这有助于双方在履行合同过程中明确各自的责任和义务，减少争议的发生。
2. 作为法律证据：在发生纠纷时，书面合同是重要的法律证据。它能够直接证明双方之间的合同关系以及合同的具体内容，为法院或仲裁机构作出裁决提供有力依据。
3. 保障自身权益：通过要回合同书，您可以确保自己手中掌握有完整的合同资料，从而在发生纠纷时能够更好地维护自己的权益。即使中介方不承认口头约定，您也可以凭借书面合同来主张自己的权利。

三、实际操作建议

1. 与中介方沟通：首先，您可以尝试与中介方进行沟通，说明您希望要回合同书的原因和目的。如果中介方同意提供合同书，那么问题就得到了解决。
2. 保留录音证据：在沟通过程中，您可以保留好与中介方的录音证据。虽然录音证据的证明力相对较弱，但在某些情况下仍然可以作为辅助证据来支持您的主张。
3. 寻求法律帮助：如果中介方拒绝提供合同书或双方无法就合同内容达成一致意见，您可以考虑寻求法律帮助。作为专业律师，我可以根据您的具体情况提供法律建议和帮助，协助您维护自己的合法权益。

四、法律风险提示

1. 合同类型认定风险：如果合同实际并非委托合同，而是其他类型的合同（如借款合同、居间合同等），那么您可能面临因合同类型认定错误而产生的法律风险。因此，在签订合同时务必明确合同类型并仔细阅读合同条款。
2. 违约责任风险：如果合同中规定了违约责任条款，而您未能按照合同约定履行义务，那么您可能需要承担相应的违约责任。因此，在签订合同时务必认真对待违约责任条款并确保自己能够履行合同义务。

最后，为了保障自身权益，我建议您还是要回合同书。如果您在操作过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。