用人单位与劳动者约定违约金并非在所有情况下都正确，而是有严格的法律限制，仅在两种法定情形下可以约定违约金。以下是对这一问题的详细分析：

一、可以约定违约金的法定情形

1. 服务期约定

   • 条件：当用人单位为劳动者提供了专项培训费用，并进行了专业技术培训时，双方可以订立协议，约定服务期。
   • 内容：若劳动者违反服务期约定提前离职，应按照约定向用人单位支付违约金。
   • 数额限制：违约金的数额不得超过用人单位实际提供的培训费用，且具体要求支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。例如，若公司花费5万元送员工参加专业培训，并约定了3年服务期，员工工作1年后离职，则可能需支付约3.33万元（即5万×2÷3）的违约金。

2. 竞业限制约定

   • 条件：竞业限制条款主要适用于用人单位的高级管理人员、高级技术人员及其他负有保密义务的人员。
   • 内容：用人单位可在劳动合同或保密协议中与上述人员约定竞业限制条款，包括在解除或终止劳动合同后，在竞业限制期限内按月给予经济补偿，并明确违反竞业限制的违约责任。
   • 限制范围与期限：竞业限制的范围、地域、期限由双方约定，但不得违反法律法规。竞业限制期限一般不得超过二年，且仅限于到与本单位生产或经营同类产品、从事同类业务的有竞争关系的其他用人单位工作或自己开业从事相关业务的情况。若劳动者违反竞业限制约定，应按照约定向用人单位支付违约金。

二、法律限制与劳动者权益保护

• 严格限制：除上述两种法定情形外，用人单位不得与劳动者约定由劳动者承担其他任何形式的违约金。这是为了保护劳动者的自主择业权，防止用人单位滥用违约金条款限制劳动者的合理流动。
• 无效条款：劳动合同中若包含非法定情形的违约金条款，该条款视为无效。劳动者如遇此类不合理约定，有权拒绝执行，并可寻求法律帮助以维护自身权益。
• 建议措施：劳动者在签订劳动合同时，应仔细审查合同条款，特别是关于违约金的部分。如有疑问或发现不合法条款，应及时咨询并采取措施保护自己的合法权益。

三、实际操作中的注意事项

• 明确约定：用人单位在与劳动者约定违约金时，必须确保约定明确、具体，且符合法定情形。
• 合理设定：违约金的数额应合理设定，不得过高或过低，以确保公平合理。
• 法律审查：在签订劳动合同前，建议用人单位和劳动者都咨询专业律师，对合同条款进行法律审查，以确保合法性和有效性。

总结来说，用人单位与劳动者约定违约金时，必须严格遵守法律规定，确保约定符合法定情形，并合理设定违约金数额。劳动者也应提高法律意识，仔细审查劳动合同条款，积极维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。