若法律工作者确实未尽到代理人义务且拒绝退还律师费，您有权通过法律途径要求其退还费用并承担相应责任。以下是从不同角度对此问题的详细分析：
一、法律工作者的义务与责任
法律工作者，包括律师和基层法律服务工作者，在接受委托后，有义务按照约定全面、认真地履行代理职责。这包括但不限于：
- 忠实义务：必须忠实于委托人的利益，不得损害委托人的合法权益。
- 勤勉义务：应当尽职尽责，以专业的知识和技能为委托人提供法律服务。
- 保密义务：对在代理过程中知悉的委托人隐私和商业秘密负有保密责任。
若法律工作者未尽到上述义务，导致委托人遭受损失，委托人有权要求其承担相应的法律责任。
二、律师费的退还问题
合同约定：
- 首先，应查看您与法律工作者签订的委托代理合同中是否有关于退还律师费的约定。若合同中有明确约定，如“若法律工作者未尽到代理义务，应退还全部或部分律师费”，则您有权依据合同要求其退还。
法律规定：
- 若合同中没有明确约定，根据《民法典》等相关法律规定，若法律工作者未按照约定履行代理义务，导致您遭受损失，您有权要求其赔偿损失，这包括要求退还已支付的律师费。
- 同时，若法律工作者的行为构成违约，您还可以要求其承担违约责任，如支付违约金等。
实际操作建议：
- 与法律工作者协商：首先尝试与法律工作者进行沟通，说明其未尽到代理义务的情况，并要求其退还律师费。
- 向律师协会或司法行政机关投诉：若协商无果，您可以向当地的律师协会或司法行政机关投诉，请求其介入调查并处理。
- 提起诉讼：若上述途径均无法解决问题，您可以向法院提起诉讼，要求法律工作者退还律师费并承担相应责任。
三、可能面临的法律后果
- 对法律工作者的处罚：若法律工作者确实存在未尽到代理义务的行为，且情节严重，其可能面临律师协会或司法行政机关的处罚，如警告、罚款、暂停执业等。
- 对您的赔偿：若法律工作者的行为导致您遭受损失，您有权要求其赔偿损失，包括直接损失和间接损失。
四、建议与注意事项
- 保留证据：在与法律工作者合作过程中，务必保留好相关证据，如委托代理合同、付款凭证、沟通记录等，以便在需要时证明自己的权益。
- 及时行动：若发现法律工作者未尽到代理义务，应及时采取行动，避免损失扩大。
- 寻求专业帮助：在处理此类纠纷时，若您感到困惑或无助，可以寻求其他专业律师的帮助，以确保自己的权益得到充分保障。
最后需要强调的是，每个案件的具体情况都有所不同，因此在处理此类纠纷时，应结合实际情况进行分析和判断。若您有任何疑问或需要进一步的法律帮助，请随时向我咨询。