佣金应由代理来退。针对这一问题，我们可以从以下方面进行分析：

一. 代理的法律地位与责任

1. 代理的定义：代理是指代理人在代理权限内，以被代理人的名义实施民事法律行为，被代理人对代理人的代理行为承担民事责任。但在此问题中，我们更关注代理行为产生的经济后果，特别是佣金的归属与退还。
2. 佣金的性质：佣金是代理人因代理行为而获得的报酬。当代理行为未能达到预期目的（如交易未成功），或存在其他需要退还佣金的情形时，佣金的退还责任应由代理承担。

二. 佣金退还的法律依据

1. 基于合同关系：如果代理与客户之间签订了书面合同，并明确规定了佣金退还的条件和方式，那么代理应按照合同约定退还佣金。
2. 基于公平原则：即使没有明确的合同约定，当代理未能完成其代理任务，或客户因合理原因要求退还佣金时，基于公平原则，代理也应退还佣金。

三. 实际操作中的建议

1. 查看合同条款：首先，建议客户查看与代理签订的合同，看是否有关于佣金退还的明确约定。
2. 与代理协商：如果合同中没有明确规定，或规定不明确，建议客户与代理进行友好协商，明确佣金退还的金额、方式和时间。
3. 法律途径：如果协商无果，客户可以通过法律途径维护自己的权益，要求代理退还佣金。

综上所述，佣金应由代理来退。这是基于代理的法律地位与责任，以及佣金退还的法律依据和实际操作中的建议所得出的结论。如有进一步需要，您可以继续咨询我。