针对您提出的“律师不作为且不退律师费，应到哪个部门讨要费用”的问题，结论前置如下：

1. 您可以首先尝试与律师事务所或律师本人进行协商，看是否能够达成退款协议。
2. 若协商无果，您可以向当地的律师协会或司法行政部门（如司法局）进行投诉，这些机构有权对律师的执业行为进行监督和管理。
3. 在特定情况下，您还可以考虑通过法律途径解决，如提起民事诉讼，要求律师或律师事务所退还律师费并承担相应的违约责任。

详细分析如下：

一、与律师事务所或律师本人协商

当您认为律师存在不作为且不退律师费的情况时，首先应当尝试与律师事务所或律师本人进行友好协商。在协商过程中，您可以明确表达您的诉求和理由，要求律师或律师事务所退还部分或全部律师费。如果律师或律师事务所同意退款，双方可以签订书面协议，明确退款金额、退款时间等具体事项。

二、向律师协会或司法行政部门投诉

若协商无果，您可以向当地的律师协会或司法行政部门（如司法局）进行投诉。这些机构是律师行业的自律组织或政府监管部门，有权对律师的执业行为进行监督和管理。在投诉时，您需要提供详细的证据材料，如委托合同、付款凭证、律师不作为的具体表现等，以便机构能够全面了解情况并作出公正处理。

• 律师协会：律师协会通常会设立投诉受理部门，负责接收和处理对律师的投诉。您可以向律师协会提交书面投诉材料，并等待其调查处理结果。
• 司法行政部门：司法行政部门（如司法局）是律师行业的政府监管部门，也负责处理对律师的投诉。您可以向当地的司法行政部门提交投诉材料，并要求其依法对律师的执业行为进行调查和处理。

三、通过法律途径解决

在特定情况下，如果律师的不作为行为给您造成了经济损失或名誉损害，您还可以考虑通过法律途径解决。具体来说，您可以向法院提起民事诉讼，要求律师或律师事务所退还律师费并承担相应的违约责任。在诉讼过程中，您需要提供充分的证据证明律师存在不作为行为，并证明该行为与您的损失之间存在因果关系。

法律提示：

• 在处理此类纠纷时，建议您保留好所有与律师或律师事务所的沟通记录、委托合同、付款凭证等证据材料，以便在需要时提供证明。
• 如果您对法律程序不熟悉或担心自己无法有效维护权益，可以考虑寻求专业法律人士的帮助或咨询。不过，鉴于您已经向我咨询，我会尽力为您提供全面的法律支持和建议。

最后，我希望您能够顺利解决与律师之间的纠纷，并维护好自己的合法权益。如果您在处理过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。