结论：能否退还代理费主要取决于代理合同的具体条款、双方的履行情况以及是否存在法定或约定的退款事由。以下是对此问题的详细分析：
一、合同条款的约定
明确约定退款条件：
- 如果代理合同中明确规定了退款条件，例如在特定情况下（如律师未开始工作）可以退款，那么应按照合同约定执行。这是判断能否退款的首要依据。
不可归责于双方的原因：
- 合同中可能还包含因不可抗力或政策变化等不可预见因素导致的退款条款。在这些情况下，即使律师未开展工作，也可能需要退还代理费。
二、合同双方的履行情况
律师未开展工作：
- 如果律师在接受委托后尚未开始任何实质性工作，委托人要求退款的可能性较大。但需注意，律师可能已经进行了初步研究或准备，如查阅相关法律、了解案件背景等，这部分工作量应合理考虑。
律师已做准备工作：
- 若律师已经为案件投入时间和精力，如制定代理计划、准备法律文件等，即使未正式开始代理工作，也有权根据已完成的工作量扣除相应费用后退还剩余代理费。
委托人自身原因：
- 如果是因为委托人未能提供必要材料、不配合工作安排或中途变更委托事项导致律师无法开展工作，律师可能有权不退还或部分退还代理费。
三、法律依据及违约责任
《中华人民共和国民法典》的相关规定：
- 根据《中华人民共和国民法典》，当事人应全面履行合同义务。若一方不履行或履行不符合约定，应承担违约责任，包括退还已支付的代理费。
违约责任的具体应用：
- 如果律师存在过错或违约行为，如无故拖延、违反职业道德等，委托人不仅有权解除合同，还有权要求律师退还代理费并承担相应损失。
四、退款途径与注意事项
退款途径：
- 首先应根据合同条款寻求退款。若无相关约定，但存在法定或约定解除合同的事由（如欺诈、重大误解、不可抗力等），可通过协商、调解、仲裁或诉讼等途径维护权益。
保留证据：
- 在尝试退回代理费的过程中，务必保留好合同文本、支付凭证、沟通记录等相关证据，以便在必要时证明自己的权益。
避免纠纷升级：
- 应遵守法律法规和合同约定，采取合法、合理的手段解决纠纷，避免采取不当手段导致纠纷进一步升级。
建议：
- 在签订代理合同时，双方应充分协商并明确约定相关条款，特别是退款条件，以减少后续纠纷的发生。
- 如果遇到退款问题，首先查看合同条款，了解是否有明确的退款规定。
- 如果合同中没有明确规定，或者存在争议，建议与律师进行友好协商，寻求双方都能接受的解决方案。
- 如果协商无果，可以考虑通过法律途径解决纠纷，如申请仲裁或提起诉讼。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。