根据《中华人民共和国劳动合同法》的相关规定，可以与劳动者约定违约金的情形主要有两种：
服务期约定：
- 适用条件：用人单位为劳动者提供专项培训费用，并对其进行专业技术培训时，可以与劳动者订立协议，约定服务期。这里的“专项培训费用”包括但不限于培训费用、差旅费用以及因培训产生的其他直接费用。
- 违约金规定：若劳动者违反服务期约定，需按照协议向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用，且不得超过服务期尚未履行部分所应分摊的培训费用。例如，若用人单位提供了10万元的培训费用，约定服务期为5年，劳动者工作2年后离职，则违约金最多为6万元（10万元÷5年×3年）。
竞业限制约定：
- 适用条件：对于负有保密义务的劳动者，如高级管理人员、高级技术人员等，用人单位可以在劳动合同或保密协议中与其约定竞业限制条款，并在解除或终止劳动合同后，按月给予经济补偿。
- 违约金规定：若劳动者违反竞业限制约定，需按照协议向用人单位支付违约金。用人单位除要求支付违约金外，还可要求劳动者继续履行竞业限制义务。竞业限制期限在解除或终止劳动合同后不得超过二年。
除上述两种情形外，用人单位不得与劳动者约定由劳动者承担违约金，这是为了保障劳动者的合法权益和自由择业权。如用人单位违规约定违约金，劳动者有权向劳动行政部门投诉，并要求用人单位限期退还已支付的违约金。
在签订相关协议时，建议双方明确约定违约金的数额、支付方式及违约后的法律责任等条款，以确保协议的合法性和有效性。同时，劳动者也应充分了解自己的权益和义务，避免因违反协议而承担不必要的违约责任。如有任何疑问或需要进一步的法律咨询，请直接向我提问。