能否退回代理费用，主要取决于代理合同的具体约定以及双方的实际情况。以下是对此问题的详细分析：

一. 退款的关键在于代理合同的约定

1. 合同约定可退款：如果代理合同中明确约定，当代理方不愿继续做代理时，有权申请退款，并且代理方满足合同约定的退款条件，那么代理方通常就可以申请退款。例如，合同中可能规定了在特定时间内提出退款申请、未违反合同其他条款等条件。
2. 合同约定不可退款或未约定：如果代理合同中明确约定不可退款，或者合同中没有关于退款的明确约定，那么代理方在不想做代理时，通常就难以要求退款。

二. 代理方的合同履行情况

1. 已履行合同义务：如果代理方已经按照合同约定履行了相应的义务，且没有违反合同的其他条款，那么代理方在提出退款时，其请求可能更容易得到支持。
2. 未履行合同义务或违反约定：如果代理方未按照合同约定履行义务，或者违反了合同的其他条款，导致合同无法继续执行，那么对方就有权利拒绝退款。

三. 退款纠纷的处理方式

1. 协商解决：如果双方在退款事宜上产生分歧，首先可以尝试通过协商来解决问题。协商是解决纠纷最快捷、最经济的方式。
2. 调解、仲裁或诉讼：如果协商无法达成一致，双方还可以考虑通过调解、仲裁或诉讼等途径来处理退款纠纷。在这些途径中，双方需要认真研究合同条款，并妥善保留相关证据，如合同文本、支付凭证等，以维护自身的合法权益。

综上所述，能否退回代理费用，并非一成不变，而是需要根据代理合同的具体约定以及双方的实际情况来判断。我建议你在提出退款前，先仔细审查代理合同的相关条款，并评估自己的合同履行情况。如有进一步需要，您可以继续咨询我。