结论：是否会被扣违约金取决于您与用人单位签订的劳动合同或相关协议中的具体约定，以及您离职的具体情况。以下从不同角度进行分析：

1. 合同中有明确约定违约金条款：

   • 合法约定：如果劳动合同或相关协议中明确规定了，在特定情况下（如未提前通知、未完成约定工作期限等）离职需要支付违约金，并且该条款不违反法律法规的强制性规定（如《劳动合同法》中关于违约金限制的规定），那么您离职时可能需要按照约定支付违约金。
   • 违约金数额：违约金的数额应当合理，不得过高。如果违约金数额过高，可能被视为对劳动者的不公平对待，法院或仲裁机构有权根据实际情况进行调整。

2. 合同中无明确约定违约金条款：

   • 一般情况：如果劳动合同或相关协议中没有明确约定违约金条款，那么用人单位通常无权要求您支付违约金。
   • 例外情况：在某些特殊情况下，如您违反了竞业限制义务或保密义务，并且给用人单位造成了实际损失，用人单位可能有权要求您承担赔偿责任，但这与违约金是不同的概念。

3. 离职的具体情况：

   • 提前通知：如果您按照劳动合同或相关协议的规定提前通知了用人单位，并且完成了工作交接等义务，那么即使合同中有违约金条款，也可能因为您的合规行为而免除或减少违约金的支付。
   • 违法解除：如果您未经用人单位同意擅自离职，或者违反了劳动合同中的其他重要条款，那么用人单位可能有权要求您支付违约金或承担其他法律责任。

法律建议：

• 审查合同：建议您首先仔细审查与用人单位签订的劳动合同或相关协议，了解其中关于违约金的约定。
• 沟通协商：如果您对违约金条款有疑问或不满，可以与用人单位进行沟通协商，尝试达成一致意见。
• 寻求法律帮助：如果您认为用人单位的要求不合理或存在违法行为，可以寻求法律帮助，通过法律途径维护自己的合法权益。

可能法律后果：

• 如果您需要支付违约金但拒绝支付，用人单位可能通过法律途径追讨，包括但不限于提起诉讼或申请仲裁。
• 如果您被认定需要承担赔偿责任（如因违反竞业限制或保密义务给用人单位造成损失），您可能需要赔偿相应的损失。

如有更多疑问或需要进一步的法律帮助，请直接向我咨询。