用人单位与劳动者能否约定违约金，需视具体情况而定，并非随意可行。根据《中华人民共和国劳动合同法》的规定，仅在以下两种特定情形下，用人单位与劳动者约定违约金才是合法的：
服务期约定中的违约金
- 适用条件：当用人单位为劳动者提供了专项培训费用，并进行了专业技术培训时，双方可以订立协议，明确约定服务期。这是为了保障用人单位在投入培训成本后，能够获得一定的服务回报。
- 违约金支付：若劳动者违反服务期约定提前离职，则需按照协议向用人单位支付违约金。但违约金的数额有严格限制，不得超过用人单位实际提供的培训费用，并且应仅计算服务期尚未履行部分所应分摊的费用。例如，公司花费8万元送员工参加专业培训，并约定了4年服务期。若员工工作1年后离职，则可能需支付约6万元（即8万×3÷4）的违约金。
竞业限制约定中的违约金
- 适用对象：竞业限制条款主要适用于用人单位的高级管理人员、高级技术人员及其他负有保密义务的人员。这些人员通常掌握着用人单位的商业秘密或关键技术信息，对用人单位的竞争利益具有重要影响。
- 约定内容：用人单位可在劳动合同或保密协议中与上述人员约定竞业限制条款，包括在解除或终止劳动合同后，在竞业限制期限内按月给予经济补偿，并明确违反竞业限制的违约责任。这是为了平衡用人单位的商业秘密保护需求和劳动者的自主择业权。
- 限制范围与期限：竞业限制的范围、地域、期限由双方约定，但不得违反法律法规。竞业限制期限一般不得超过二年，且仅限于到与本单位生产或经营同类产品、从事同类业务的有竞争关系的其他用人单位工作或自己开业从事相关业务的情况。例如，某科技公司与技术骨干签订竞业限制协议，约定离职后两年内不得到竞争公司工作，公司每月支付经济补偿，违反则需支付违约金。
除上述两种法定情形外，用人单位不得与劳动者约定其他任何由劳动者承担违约金的情形。这包括以员工未提前通知离职、未完成业绩指标等理由约定的违约金，这类约定通常是无效的。这是为了保护劳动者的合法权益，防止用人单位滥用违约金条款对劳动者的自由流动进行不当限制。
在实际操作中，用人单位和劳动者都应充分了解并遵守相关法律法规。用人单位在约定违约金时，应确保约定情形的合法性和合理性，避免侵犯劳动者的合法权益；劳动者在签订劳动合同时，也应仔细审查关于违约金的条款，确保自身权益不受侵害。
若您在劳动工伤（劳动仲裁）领域有任何疑问或需要进一步的法律帮助，请直接向我咨询。我将根据您的具体情况，提供专业、全面的法律建议。