没尽到代理人义务退还代理费是否违法，需分情况讨论：
若合同中有明确约定：
- 根据《中华人民共和国民法典》的相关规定，合同是双方意思表示一致的协议，具有法律约束力。如果代理合同中明确规定了代理人的义务以及未尽义务时的违约责任，包括退还代理费的条款，那么代理人未尽到义务时，按照合同约定退还代理费就是合法的，也是其应尽的合同义务。不履行这一义务，就构成了违约，需要承担相应的违约责任。
若合同中没有明确约定：
- 在这种情况下，是否退还代理费就需要根据具体情况和法律规定来判断。一般来说，如果代理人确实没有履行其应尽的义务，给委托人造成了损失，委托人可以要求代理人承担相应的赔偿责任。但是，这并不意味着委托人可以直接要求退还全部代理费。赔偿的范围和金额需要根据实际损失来确定，可能并不等同于全部的代理费。
- 另外，如果代理人未尽义务的行为构成了欺诈或者重大过失，委托人还可以根据《中华人民共和国消费者权益保护法》等相关法律规定，要求代理人承担惩罚性赔偿责任。不过，这同样需要具体的证据和法律程序来支持。
法律建议：
- 在签订代理合同时，务必明确代理人的义务和违约责任，包括未尽义务时的退费条款。这样可以在发生纠纷时，有明确的合同依据来维护自己的权益。
- 如果代理人未尽到义务，委托人应首先与代理人进行协商，看是否能够达成退费或者其他补偿的协议。如果协商不成，可以考虑通过法律途径来解决纠纷，比如向法院提起诉讼或者向仲裁机构申请仲裁。
- 在处理这类纠纷时，委托人应注意收集和保存相关证据，比如代理合同、付款凭证、代理人未尽义务的证据等。这些证据在后续的法律程序中可能会起到关键作用。
可能的法律后果：
- 如果代理人未尽到义务且合同中有明确约定退费条款，而代理人拒绝退费，委托人可以通过法律途径要求代理人履行合同义务，退还代理费，并可能要求其承担违约责任。
- 如果合同中没有明确约定，但代理人确实未尽到义务给委托人造成了损失，委托人可以要求代理人承担相应的赔偿责任。不过，这需要具体的证据和法律程序来支持，且赔偿范围和金额可能需要根据实际情况来确定。