工程结算时是否要扣除违约金，需结合合同约定、违约事实及法律规定综合判断，并非绝对要扣除或不要扣除。以下从不同角度详细分析：
一、合同约定角度
违约金条款的存在：
- 如果建设工程施工合同中明确约定了违约金条款，且一方存在违约行为，那么另一方在工程结算时有权依据合同约定要求扣除或主张违约金。
- 违约金条款通常会对违约金的计算方式、支付时间等进行明确约定，双方应严格按照合同执行。
结算文件的约定：
- 如果工程结算文件中已经对违约责任进行了处理或豁免，例如明确约定了不再追究违约责任或已对违约金进行了结算调整，那么在后续结算过程中可能不再扣除违约金。
- 因此，在签署结算文件前，应仔细审查其中的内容，确保自己的权益得到充分保障。
二、违约事实角度
工期延误：
- 如果承包人未按照合同约定的时间完成工程，导致工期延误，发包人有权依据合同约定要求承包人支付逾期竣工违约金。
- 即使工程已经结算，但如果结算文件中并未对工期延误的违约责任进行豁免或调整，发包人仍然可以在结算时扣除或后续主张该违约金。
工程质量问题：
- 如果工程存在质量问题，且该问题是由于承包人的过错导致的，发包人有权要求承包人承担修复费用或赔偿损失。
- 同时，如果合同中约定了因质量问题产生的违约金条款，发包人在工程结算时也可以扣除或后续主张该违约金。
其他违约行为：
- 除了工期延误和质量问题外，如果承包人还存在其他违约行为（如擅自转包、分包等），且这些行为违反了合同约定并给发包人造成了损失，发包人同样有权在工程结算时扣除或后续主张违约金。
三、法律规定角度
- 根据《中华人民共和国民法典》的相关规定，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金。这一规定同样适用于建设工程合同领域。
- 因此，在主张违约金时，应确保违约金条款的合法性和有效性，并收集充分的证据材料来证明对方的违约行为以及自己因此遭受的损失。
四、注意事项
- 审查合同条款：在主张违约金之前，应仔细审查建设工程施工合同中的相关条款，确保违约金条款的合法性和有效性。
- 收集证据材料：为了支持违约金的主张，需要收集充分的证据材料来证明对方的违约行为以及自己因此遭受的损失。这些证据可能包括施工记录、验收报告、往来函件等。
- 注意诉讼时效：违约金的请求权受到诉讼时效的限制。因此，在主张违约金时，应注意诉讼时效的问题，避免超过法定的诉讼时效期间而丧失胜诉权。
建议：在工程结算过程中，如果涉及违约金问题，建议双方首先查阅合同条款，明确违约责任和违约金支付方式。如果存在争议，可以协商解决或寻求法律途径解决。如有具体法律问题，可以直接向我咨询，我将根据具体情况提供详细的法律建议。