结论：是否需要退款取决于委托合同的具体约定、中间人的履约情况以及是否存在法定或约定的解除合同情形。以下从不同角度进行分析：

一、合同约定角度

1. 合同中有明确约定：

   • 如果委托合同中明确约定了“若授权未下来，中间人应退还已支付款项”的条款，那么根据合同约定，中间人应当退款。
   • 反之，如果合同中没有此类约定，或者约定了其他处理方式（如扣除一定费用后退款、延期办理等），则应按照合同约定执行。

2. 合同约定不明确或存在争议：

   • 若合同对退款事宜约定不明确，或者双方对合同条款的理解存在争议，此时应依据《中华人民共和国民法典》中关于合同解释的规定，结合合同目的、交易习惯以及诚实信用原则等，对合同条款进行合理解释。
   • 如果经过解释后，仍无法确定双方的真实意思表示，且双方无法达成补充协议，那么可能需要根据实际情况，由法院或仲裁机构根据公平原则进行裁决。

二、中间人履约情况角度

1. 中间人未履行合同义务：

   • 如果中间人未按照合同约定履行办理授权的义务，且该未履行行为导致授权无法下来，那么委托人有权要求中间人退款。
   • 此时，中间人可能构成违约，应承担违约责任，包括退还已支付款项、赔偿损失等。

2. 中间人已履行合同义务但授权未下来：

   • 如果中间人已经按照合同约定履行了办理授权的义务，但由于其他原因（如政策变化、审批机关拒绝等）导致授权无法下来，那么此时是否需要退款应取决于合同约定和实际情况。
   • 如果合同中没有约定在此情况下需要退款，且中间人没有过错，那么委托人可能无权要求退款。但中间人应提供证据证明其已经履行了合同义务。

三、法定或约定解除合同情形角度

1. 法定解除合同情形：

   • 根据《中华人民共和国民法典》的规定，如果合同履行过程中出现法定解除情形（如不可抗力、对方违约导致合同目的无法实现等），委托人有权解除合同，并要求中间人退还已支付款项。

2. 约定解除合同情形：

   • 如果委托合同中约定了双方可以在特定条件下解除合同，并明确了退款事宜，那么当该条件成就时，委托人有权按照合同约定解除合同，并要求中间人退款。

法律建议

1. 审查合同条款：首先，应仔细审查委托合同的条款，特别是关于退款、违约责任以及合同解除等方面的约定。
2. 与中间人协商：如果合同中有争议或不明确的地方，建议与中间人进行协商，尝试达成补充协议或解决方案。
3. 寻求法律救济：如果协商无果，且认为中间人存在违约行为或合同存在法定或约定解除情形，可以寻求法律救济，包括向法院提起诉讼或向仲裁机构申请仲裁。

后续行动建议：在处理此类纠纷时，建议委托人保留好相关证据（如合同、支付凭证、沟通记录等），以便在需要时证明自己的主张。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。