委托贷款合同能否退，需根据具体情况判断，主要取决于合同条款约定、合同履行状态及是否存在法定或约定解除事由。以下分情况详细说明：

1. 若合同中有明确约定解除条款
   若委托贷款合同中明确约定了单方解除权（如“任何一方提前X日书面通知即可解除合同”），或约定了特定条件下可解除（如“贷款资金未发放前委托方可无条件撤回”），则您可依据合同条款主张解除，但需注意：

   • 需按合同约定的程序操作（如书面通知、支付违约金等）；
     
   • 若合同约定解除需承担违约责任（如赔偿中介服务费、资金占用损失等），您可能需履行相应义务。

2. 若合同未约定解除条款，但存在法定解除事由
   根据《民法典》第五百六十三条，若出现以下情形，您可主张解除合同：

   • 不可抗力：如因政策调整导致贷款无法发放（如监管部门叫停委托贷款业务）；
     
   • 对方违约：如中介未按约定协助办理贷款手续、隐瞒重要信息（如贷款方资质瑕疵）；
     
   • 情势变更：如合同签订后市场环境发生重大变化（如利率大幅波动），继续履行显失公平。
     需注意：法定解除需以“合同目的无法实现”为前提，且需通过诉讼或仲裁确认，不可自行单方解除。

3. 若合同已履行完毕或贷款已发放

   • 若贷款资金已按约定发放至借款人账户，委托贷款合同已实际履行完毕，此时通常无法“退回”合同，但可协商提前还款（需按借款合同约定支付违约金）；
     
   • 若中介存在过错（如未尽审查义务导致贷款风险），您可主张中介承担赔偿责任，但不影响合同效力。

建议行动步骤：

1. 仔细审查委托贷款合同条款，重点关注解除权、违约责任等约定；
   
2. 收集证据（如沟通记录、政策文件等）证明存在法定或约定解除事由；
   
3. 与中介协商解除，若协商不成，可委托律师发送律师函或直接起诉。
   

如有进一步疑问，可直接向我咨询具体合同条款或案件细节。