单位扣留意外险赔付金一般是不合法的，但具体情况需分以下角度分析：

1. 保险合同关系角度
   意外险的赔付对象是被保险人本人或其法定受益人（如身故赔付给家属）。根据《保险法》第18条，保险合同中应明确约定受益人，单位并非法定受益人。若单位未经被保险人书面同意，擅自扣留赔付金，属于无权处分他人财产，涉嫌违法。

2. 单位代缴保费的情况
   若单位仅为员工代缴保费（保费实际由员工承担），则保险权益完全归属员工。单位无权以“代缴”为由扣留赔付金，否则可能构成《民法典》第1165条规定的侵权行为，员工可要求返还并主张赔偿。

3. 单位作为投保人的特殊情形
   若单位作为投保人为员工购买团体意外险，且保费由单位全额承担，仍需区分两种情况：

   • 赔付对象为员工：单位仅是投保人，非受益人，无权扣留；
     
   • 赔付对象为单位（如雇主责任险）：此时赔付金归单位所有，但需注意：此类保险与员工个人意外险性质不同，单位不能以此混淆概念扣留员工个人意外险赔付金。

4. 单位内部规定或协议的效力
   若单位通过规章制度或与员工签订协议约定“扣留部分赔付金”，该条款可能因违反《保险法》强制性规定（如第19条“排除被保险人权利”）或《劳动合同法》第26条“免除用人单位法定责任”而被认定无效。

建议行动步骤：

1. 核查保险合同，确认投保人、被保险人、受益人身份；
   
2. 收集单位扣留赔付金的证据（如通知书、转账记录等）；
   
3. 与单位协商要求返还，协商不成可向当地银保监会投诉或提起民事诉讼。
   

如有进一步细节（如保险类型、单位扣留理由等），可继续向我咨询，我会结合具体情形为您分析。