退卡时要求支付违约费是否合法，需根据具体情况判断，主要看双方是否有约定以及违约金的数额是否合理。以下是详细分析：
一. 退卡违约费的合法性
- 基于合同约定：根据《中华人民共和国民法典》第五百七十七条，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担违约责任。如果双方在办卡时就已经约定了退卡时需要支付违约费，那么这种违约费是合法的，因为它是基于双方自愿达成的合同条款。
- 违约金的合理性：根据《中华人民共和国民法典》第五百八十五条，当事人可以约定违约金，但如果约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。因此，即使退卡违约费是合法的，其数额也应当是合理的，不能过高。
二. 特殊情况
- 如果经营者以预收款方式提供商品或者服务，并且未按照约定提供，消费者有权要求退回预付款，此时如果经营者要求支付违约费，则可能是不合法的，因为这违反了《中华人民共和国消费者权益保护法》第五十三条的规定，即未按照约定提供服务时，应当退回预付款。
我的观点：退卡时要求支付违约费是否合法，关键在于双方是否有明确的合同约定，以及违约金的数额是否合理。如果有合同约定且违约金数额合理，那么退卡违约费是合法的。但如果经营者未按照约定提供服务，或者违约金数额过高，那么消费者有权要求调整或拒绝支付。如有进一步需要，您可以继续咨询我。