要求退回代理费，这通常取决于您与代理机构或代理人之间签订的合同内容以及相关法律法规的规定。以下是一些一般性的步骤和建议，希望能对您有所帮助：

一、审查合同条款

首先，您需要仔细审查与代理机构或代理人签订的合同，特别是关于代理费支付、退还以及合同解除等条款。合同中通常会明确规定在何种情况下可以退还代理费，以及退还的具体流程和条件。

二、与代理机构或代理人协商

1. 沟通原因：向代理机构或代理人说明您要求退还代理费的原因，比如服务未达到预期、合同无法继续履行等。
2. 提出请求：基于合同条款和实际情况，向代理机构或代理人提出退还代理费的请求。
3. 协商解决方案：尝试与代理机构或代理人协商达成一个双方都能接受的解决方案，比如部分退还、延期退还或以其他方式补偿等。

三、依据法律法规维权

如果协商无果，您可以考虑依据相关法律法规来维护自己的权益：

1. 合同无效或撤销：如果合同存在无效或可撤销的情形（如欺诈、胁迫、违背公序良俗等），您可以向法院或仲裁机构申请宣告合同无效或撤销合同，并要求退还代理费。例如，在您提到的案例中，由于合同目的违背公序良俗，法院最终判决合同无效，并要求代理人退还代理费。
2. 违约责任：如果代理机构或代理人未按照合同约定履行义务，构成违约，您可以要求其承担违约责任，包括退还代理费、赔偿损失等。

四、具体操作建议

1. 收集证据：保留与代理机构或代理人的沟通记录、合同文本、支付凭证等相关证据，以备不时之需。
2. 书面申请：如果决定要求退还代理费，最好以书面形式向代理机构或代理人提出申请，并明确退还的金额、方式和时间等。
3. 寻求法律援助：如果您对法律程序不熟悉或遇到复杂情况，可以考虑寻求专业律师的法律援助，以确保您的权益得到充分保护。

五、特殊情况处理

如果您遇到的是类似商标局预存费用未使用的情况，您可以按照商标局发布的退款通知要求，准备相关材料（如退款申请表、身份证明文件等），并邮寄至指定地址或通过电子信箱提交申请。

总之，要求退回代理费需要您根据具体情况采取合适的措施。希望以上建议能对您有所帮助。如果您还有其他问题或需要进一步的帮助，请随时告诉我。