用人单位仅可在以下两种法定情形下与劳动者约定违约金：
服务期协议中的违约金
- 法律依据：根据《中华人民共和国劳动合同法》第二十二条，用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与劳动者订立协议，约定服务期。若劳动者违反服务期约定，需按照协议向用人单位支付违约金。
- 适用前提：用人单位必须为劳动者提供了专项培训费用，且培训内容具有专业性和针对性。
- 违约金规定：违约金的数额不得超过用人单位提供的培训费用，且不得超过服务期尚未履行部分所应分摊的培训费用。例如，若用人单位提供了10万元的培训费用，约定服务期为5年，劳动者工作2年后离职，则最多需支付6万元的违约金（10万元÷5年×3年）。
竞业限制协议中的违约金
- 法律依据：根据《中华人民共和国劳动合同法》第二十三条，对负有保密义务的劳动者，用人单位可以在劳动合同或保密协议中与其约定竞业限制条款，并在解除或终止劳动合同后，按月给予经济补偿。若劳动者违反竞业限制约定，应按照协议向用人单位支付违约金。
- 适用前提：竞业限制适用于用人单位的高级管理人员、高级技术人员和其他负有保密义务的人员。竞业限制的范围、地域、期限由双方约定，但不得违反法律法规，且竞业限制期限在解除或终止劳动合同后不得超过二年。
- 违约金规定：劳动者违反竞业限制约定的，需按照协议向用人单位支付违约金。同时，用人单位除要求支付违约金外，还可要求劳动者继续履行竞业限制义务。
其他注意事项：
- 除上述两种情形外，用人单位不得与劳动者约定由劳动者承担违约金。这是为了保障劳动者的自主择业权，防止用人单位滥用违约金条款侵害劳动者权益。
- 若用人单位违规约定违约金，劳动者有权向劳动行政部门投诉。劳动行政部门将责令用人单位限期退还劳动者本人，并可处以每人五百元以上二千元以下的罚款。
建议与启示：
- 用人单位在与劳动者约定违约金时，必须严格遵守法律规定，确保协议的合法性和有效性。
- 劳动者在签订劳动合同时，应仔细阅读违约金条款，了解自己的权利和义务。若对条款有疑问或不满，应及时与用人单位沟通协商。
- 若发生违约金纠纷，双方应首先通过协商解决。协商无果的，可以依法向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。
如有任何法律疑问或需要进一步的法律帮助，请随时向我咨询。