结论：能否退还委托费并终止委托，需根据委托合同的具体约定、律师实际工作进展及法律规定综合判断，以下分情况说明：
1. 若委托合同明确约定了退费条款
- 合同优先原则：若双方签订的书面委托合同中明确约定了“调档前可无条件退费”或“委托人可随时解除合同并退还剩余费用”等条款，则律师应按合同约定退还费用。
- 操作建议：立即书面通知律师解除委托（保留通知证据，如邮件、短信），并要求按合同退费。若律师拒绝，可凭合同向当地律师协会投诉或向法院起诉。
2. 若合同未约定退费条款，但律师尚未实际开展调档工作
- 法定解除权：根据《民法典》第九百三十三条，委托人可随时解除委托合同，但需赔偿律师因解除合同造成的直接损失（如已支付的第三方调档费用）。
- 关键点：若律师仅“准备调档”但未实际支付费用或产生其他成本，委托人有权要求全额退费；若律师已垫付费用，需扣除实际支出后退还余额。
3. 若律师已完成调档或部分工作
- 按劳取酬原则：律师有权要求支付已完成工作对应的合理费用（如调档费、工时费等），剩余部分可退还。
- 证据要求：委托人可要求律师提供工作记录、费用明细等证据，以核实退费金额是否合理。若律师无法提供，可主张全额退费。
4. 若律师存在违约或过错
- 过错责任：若律师未按约定时间调档、泄露隐私或存在其他违约行为，委托人可解除合同并要求全额退费，甚至主张赔偿损失。
- 举证责任：委托人需提供律师违约的证据（如聊天记录、录音等），否则可能承担不利后果。
行动建议
- 审查合同：立即查看委托合同中关于“解除合同”“退费”的条款，明确双方权利义务。
- 书面沟通：向律师发送书面解除通知，明确要求退费金额及理由，并保留送达证据。
- 协商或投诉：若律师拒绝退费，可先通过律师协会调解；调解无果，可向法院起诉（标的额较小可适用小额诉讼程序）。
- 防范风险：未来签订委托合同时，务必明确约定“退费条件”“违约责任”等条款，避免纠纷。
提示：法律程序可能耗时较长，建议优先通过协商解决。若需进一步分析合同条款或协助起草解除通知，可直接向我咨询。