退客户退银行的利息违约金是否合法，取决于具体的合同约定以及相关法律法规。以下是对此问题的详细分析：

一. 合同约定是关键

1. 贷款合同内容：首先，需要查看贷款合同中关于利息、违约金以及退款的相关条款。如果合同中有明确规定在某些情况下客户可以退还利息或违约金，那么客户有权要求银行按照合同约定执行。
2. 合同法的支持：根据《中华人民共和国合同法》的相关规定，合同是双方自愿达成的约定，对双方均具有法律约束力。因此，如果合同中有相关退款条款，客户可以依据此要求退款。

二. 法律法规的约束

1. 民法典的规定：根据《中华人民共和国民法典》第六百七十五条，借款人应当按照约定的期限返还借款，但并未直接规定利息和违约金的退还情况。然而，该法条强调了合同约定的重要性，即双方应按照合同约定履行义务。
2. 其他相关法规：在银行业务中，关于利息和违约金的收取及退还，还可能受到其他相关法律法规的约束，如《中华人民共和国商业银行法》等。这些法规可能对银行的行为进行规范，确保银行的业务活动符合法律法规的要求。

三. 实际操作中的协商

1. 与银行协商：在实际操作中，如果客户认为银行收取的利息或违约金不合理，或者存在合同约定的退款情况，可以与银行进行协商。银行会根据实际情况和合同约定，考虑是否同意退款。
2. 协商结果的不确定性：需要注意的是，协商结果具有不确定性。银行可能会同意退款，也可能会拒绝退款，具体取决于双方的协商情况和合同约定。

综上所述，退客户退银行的利息违约金是否合法，主要取决于贷款合同中的约定以及相关法律法规的规定。如果合同中有明确的退款条款，且符合法律法规的要求，那么客户有权要求银行退款。如果合同中没有相关规定或规定不明确，客户可以与银行进行协商，但协商结果具有不确定性。我建议客户在退款前仔细查阅贷款合同，并咨询专业律师或银行工作人员的意见。如有进一步需要，您可以继续咨询我。