用人单位仅可在两种法定情形下与劳动者约定违约金，分别是服务期协议中的违约金和竞业限制协议中的违约金。以下是对这两种情形的详细解释：
一、服务期协议中的违约金
法律依据：
- 根据《中华人民共和国劳动合同法》第二十二条，用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。
适用前提：
- 用人单位必须为劳动者提供了专项培训费用，这包括培训费用、差旅费用以及因培训产生的其他直接费用。此类培训通常具有专业性、针对性，如高级编程培训、专业设计培训等。
违约金规定：
- 若劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用，且用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。例如，若用人单位提供了10万元的培训费用，约定服务期为5年，劳动者工作2年后离职，则最多需支付6万元的违约金（10万元÷5年×3年）。
二、竞业限制协议中的违约金
法律依据：
- 根据《中华人民共和国劳动合同法》第二十三条，对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。
适用前提：
- 竞业限制适用于用人单位的高级管理人员、高级技术人员和其他负有保密义务的人员。竞业限制的范围、地域、期限由双方约定，但不得违反法律法规，且竞业限制期限在解除或终止劳动合同后不得超过二年。
违约金规定：
- 若劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。同时，用人单位除要求支付违约金外，还可要求劳动者继续履行竞业限制义务。
其他注意事项
- 禁止违规约定：除上述两种情形外，用人单位不得与劳动者约定由劳动者承担违约金。若用人单位违规约定违约金，劳动者有权向劳动行政部门投诉，劳动行政部门将责令用人单位限期退还劳动者本人，并可处以每人五百元以上二千元以下的罚款。
- 合同审查：在签订劳动合同时，劳动者应仔细审查合同中的违约金条款，确保自己不会因不了解法律而承担不必要的违约责任。同时，用人单位也应严格遵守法律规定，确保协议的合法性和有效性。
综上所述，用人单位在与劳动者约定违约金时，必须严格遵守法律规定，确保协议的合法性和有效性。若您在劳动纠纷方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。