退卡扣除费用并不一定违法，需要视具体情况和合同约定而定。以下是对此问题的详细分析：

一. 退卡扣除费用的合法性分析

1. 合同约定：如果消费者在购买卡时，与商家签订的合同中明确规定了退卡时需要扣除的费用，且该费用是合理且不违反相关法律法规的，那么商家按照合同约定扣除费用是合法的。例如，合同中可能规定了退卡手续费、折旧费等，这些费用在合同中有明确约定，且不超出法律允许的范围，则商家有权扣除。

2. 无合同约定或约定不明：如果消费者与商家之间没有关于退卡扣除费用的合同约定，或者合同约定不明确，那么商家擅自扣除费用就可能构成违约或侵权行为。在这种情况下，消费者可以依据相关法律法规维护自己的合法权益。

二. 相关法律依据

• 《中华人民共和国合同法》：该法规定了合同的订立、履行、变更和解除等内容。如果商家与消费者之间签订了合同，且合同中明确规定了退卡扣除费用的相关条款，那么商家有权按照合同约定执行。如果合同没有约定或约定不明，商家则不能擅自扣除费用。

• 《中华人民共和国消费者权益保护法》：该法保护了消费者的合法权益，包括知情权、选择权、公平交易权等。如果商家在退卡时擅自扣除费用，且没有合理的合同依据，那么这种行为可能侵犯了消费者的合法权益，消费者可以依法维权。

三. 结论与建议

• 结论：退卡扣除费用是否违法，关键在于商家与消费者之间是否有关于此费用的合同约定，以及该约定是否合法、合理。

• 建议：消费者在购买各类卡时，应仔细阅读合同条款，了解退卡的相关规定。如果遇到商家擅自扣除费用的情况，可以先与商家协商解决；协商不成时，可以向消费者协会投诉或依法向人民法院提起诉讼。同时，商家也应遵守相关法律法规和合同约定，不得擅自扣除消费者的费用。

如有进一步需要，您可以继续咨询我。