离职违约金过高时，劳动者有权请求法院或仲裁机构予以调整减免，但需满足法定条件并遵循特定程序。具体分析如下：

1. 法定调整情形
   根据《劳动合同法》第二十五条，用人单位仅在两种情形下可约定违约金：

   • 劳动者违反服务期约定（如单位提供专项培训费用并约定服务期）；
     
   • 劳动者违反竞业限制约定。
     若违约金约定超出法定范围（如未提供培训却约定违约金），则属于无效条款，劳动者可直接主张无需支付。

2. 违约金过高时的调整规则
   即使违约金属于法定情形，若金额显著高于用人单位实际损失，劳动者可依据《民法典》第五百八十五条请求调整。调整标准通常为：

   • 服务期违约金：不得超过用人单位提供的培训费用，且需按未履行服务期比例分摊；
     
   • 竞业限制违约金：需以用人单位实际损失为基础，结合劳动者收入、违约情节等因素综合判定。
     例如：单位支付培训费5万元，约定5年服务期，劳动者工作2年后离职，违约金最高仅能主张3万元。

3. 实务操作建议

   • 证据收集：保留培训费用发票、竞业限制补偿支付记录等证明用人单位实际损失的证据；
     
   • 协商优先：可先与用人单位协商降低违约金金额，避免诉讼成本；
     
   • 法律程序：若协商无果，需在离职后1年内申请劳动仲裁，主张调整违约金（需注意仲裁时效）。

特别提醒：若用人单位以“违约金”名义变相收取押金、保证金等，属于违法行为，劳动者可向劳动监察部门投诉或直接申请仲裁要求返还。如有具体案例或合同条款需要分析，可进一步向我提供细节。