离职时公司要求赔偿违约金是否合法，需分情况讨论，具体如下：

1. 若劳动者违反服务期约定或竞业限制约定，公司要求赔偿违约金是合法的

   • 服务期约定：根据《劳动合同法》第二十二条，用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用，且用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。
   • 竞业限制约定：根据《劳动合同法》第二十三条，对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。

2. 若不存在服务期约定或竞业限制约定，公司要求赔偿违约金一般是不合法的

   • 在一般情况下，劳动者离职时，用人单位不得要求劳动者支付违约金。这是因为劳动合同不同于一般的民事合同，其具有人身依附性，劳动者享有自由择业的权利。如果用人单位随意要求劳动者支付违约金，将限制劳动者的自由择业权，不利于劳动力的合理流动和市场的健康发展。

法律建议：

• 对于劳动者：在签订劳动合同时，应仔细阅读合同条款，特别是关于违约金的部分。如果合同中存在不合理的违约金条款，可以与用人单位协商修改或拒绝签订。在离职时，如果用人单位要求支付违约金，应首先确认是否存在服务期约定或竞业限制约定。如果不存在，则有权拒绝支付。
• 对于用人单位：在制定劳动合同和规章制度时，应遵守相关法律法规的规定，不得随意设置违约金条款。如果确实需要设置违约金条款，应确保条款的合法性和合理性，并在与劳动者签订合同时进行充分说明和协商。

可能后果：

• 如果劳动者违反服务期约定或竞业限制约定而拒绝支付违约金，用人单位可以通过法律途径追究劳动者的责任，要求其支付违约金及可能产生的其他损失。
• 如果用人单位在不存在服务期约定或竞业限制约定的情况下要求劳动者支付违约金，劳动者可以拒绝支付，并向劳动监察部门投诉或申请劳动仲裁维护自己的合法权益。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。