关于与劳动者约定违约金的情况，根据《中华人民共和国劳动合同法》的相关规定，主要存在以下两种法定情形：
服务期违约金
- 适用条件：当用人单位为劳动者提供专项培训费用，并对其进行专业技术培训时，可以与该劳动者订立协议，约定服务期。这里的“专项培训费用”通常包括培训费用、差旅费用以及因培训产生的其他直接费用。
- 违约金数额限制：若劳动者违反服务期约定，需按照协议向用人单位支付违约金。但违约金的数额不得超过用人单位提供的培训费用，且不得超过服务期尚未履行部分所应分摊的培训费用。例如，若用人单位提供了10万元的培训费用，约定服务期为5年，劳动者工作2年后离职，则最多需支付6万元的违约金（10万元÷5年×3年）。
竞业限制违约金
- 适用对象：竞业限制主要适用于用人单位的高级管理人员、高级技术人员和其他负有保密义务的人员。
- 约定内容：在解除或终止劳动合同后，上述人员在竞业限制期限内不得到与本单位生产或经营同类产品、从事同类业务的有竞争关系的其他用人单位工作，或自己开业生产、经营同类产品、从事同类业务。
- 经济补偿与违约金：用人单位需在竞业限制期限内按月给予劳动者经济补偿。若劳动者违反竞业限制约定，应按约定向用人单位支付违约金。同时，用人单位还有权要求劳动者继续履行竞业限制义务。
其他注意事项：
- 除上述两种情形外，用人单位不得与劳动者约定由劳动者承担违约金。例如，用人单位不得以劳动者未提前通知解除劳动合同为由约定违约金，也不得以劳动者未完成工作任务或未达到业绩指标为由约定违约金。
- 若用人单位违规约定违约金，劳动者有权向劳动行政部门投诉。劳动行政部门将责令用人单位限期退还劳动者本人，并可处以罚款。
综上所述，用人单位在与劳动者约定违约金时，必须严格遵守法律规定，确保协议的合法性和有效性。如果您在劳动仲裁或劳动合同方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。