退费时扣除违约金是否合法，主要取决于租赁合同中的具体约定以及该约定是否符合相关法律法规的规定。以下从多个角度为你详细分析：
一、合同约定角度
明确且合法的约定：
- 根据《中华人民共和国民法典》第五百八十五条，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。因此，如果租赁合同中明确、清晰地规定了退费时需扣除的违约金比例，并且该条款不违反法律法规的强制性规定，也不构成显失公平等无效或可撤销情形，那么出租方依据此条款扣除违约金是合理合法的。
- 例如，合同规定“承租方在租赁期未满时提前退租，需扣除剩余租金的一定比例（如20%）作为违约金”，且该比例合理，则扣除行为合法。
未明确约定或约定不清晰：
- 若租赁合同中没有明确约定违约金，或约定不明确，出租方不能随意扣取违约金。此时，违约金的计算应基于实际损失额来确定，且需由主张违约金的一方承担举证责任。
霸王条款与告知义务：
- 合同中的违约金条款若存在加重承租方责任、排除承租方主要权利等霸王条款情形，可能因违反公平原则而被认定无效。
- 出租方在签订合同前未履行告知义务，导致承租方在不知情的情况下签订含有违约金条款的合同，承租方可主张该条款不生效。
二、法律法规角度
违约金合理性：
- 即使合同中有违约金条款，其金额也应合理，不得过分高于或低于实际损失。根据《中华人民共和国民法典》第五百八十五条，约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。
- 因此，如果出租方主张的违约金明显过高，与实际损失不符，承租方有权请求法院或仲裁机构进行调整。
消费者权益保护（如适用）：
- 如果租赁关系涉及消费者权益保护（如长租公寓等），根据《中华人民共和国消费者权益保护法》，消费者享有公平交易的权利，有权拒绝经营者的强制交易行为。如果出租方利用格式条款等方式，强制承租方接受不合理的退费条件，可能构成对消费者权益的侵害。
三、特殊情况处理
不可抗力或正当理由：
- 承租方因不可抗拒的理由（如重大疾病、意外伤亡等）或正当理由（如工作调动、家庭变故等）提出提前退租申请，出租方一般应扣除少量手续费后退还剩余费用，而非直接扣除高额违约金。
出租方违约：
- 若因出租方的原因（如房屋质量问题、未履行维修义务等）导致承租方无法继续居住，承租方有权要求提前退租并全额退费，出租方无权扣取违约金。
四、维权建议与实际操作
协商解决：
- 遇到退费问题，承租方应首先尝试与出租方协商解决，要求其说明扣费依据，并尝试达成双方都能接受的解决方案。
保留证据：
- 在协商过程中，承租方应保留好相关证据，包括租赁合同、付款凭证、沟通记录等，以备后续维权之需。
投诉或诉讼：
- 若协商不成，承租方可以向相关部门（如房屋租赁管理部门、消费者协会等）投诉，或向人民法院提起诉讼。在诉讼过程中，承租方需提供充分证据证明出租方的违约行为以及退费的合理性。
总结来说，退费时扣除违约金是否合法需根据具体情况综合判断。承租方在签订租赁合同时应仔细阅读合同条款，特别是关于退费和违约金的约定；在遇到退费问题时，应依法维护自己的合法权益。如果你有具体的租赁合同纠纷问题，欢迎直接向我咨询，我会根据你的具体情况提供详细的法律建议。