不用行政复议，律师费一般不能退。下面我详细解释一下这个问题：

律师费是当事人为了获得律师的专业法律服务而支付的费用。在聘请律师进行行政复议或任何其他法律事务时，双方通常会签订律师服务合同，明确约定律师费的支付条件、金额和方式等。

如果当事人决定不进行行政复议了，想要退回已经支付的律师费，这需要根据双方签订的律师服务合同的具体条款来确定。一般来说，律师费是按照服务内容和工作量来计算的，如果律师已经为当事人提供了相应的法律服务，比如分析了案情、准备了复议材料等，那么这部分费用通常是不会退还的。

当然，如果双方在合同中明确约定了某种情况下可以退还律师费，比如复议未成功可以全额或部分退款等，那么当事人可以根据合同条款来要求退款。但这种情况比较少见，因为律师提供的是专业服务，一旦服务提供完毕，就很难再量化其价值并退款。

所以，如果你不想进行行政复议了，想要退回律师费，建议先查看与律师签订的合同是否有相关约定，如果没有，那么退款的可能性就比较小。如果有任何疑问或争议，可以与律师协商解决，或者寻求法律援助机构的帮助。

总之，律师费的退还与双方签订的合同密切相关，建议当事人在签订合同时就明确相关条款，以避免后续的争议和纠纷。