单位以考试不合格为由进行罚款通常是不合法的，但具体需结合以下角度分析：

1. 法律对罚款主体的限制
   根据《行政处罚法》第17条，只有行政机关或经法律授权的单位（如消防、税务等）才有权实施罚款。企业、事业单位等普通用人单位不具备罚款权，其以考试不合格为由罚款属于违法行为。

2. 劳动合同与规章制度的合法性审查
   若单位试图通过内部规章制度（如《员工手册》）规定“考试不合格罚款”，需满足：

   • 规章制度经民主程序制定（如职工代表大会讨论）；
     
   • 内容不违反法律强制性规定（如不得克扣工资）；
     
   • 已向劳动者公示或告知。
     即使满足上述条件，罚款仍可能因侵犯劳动者财产权而被认定无效，因为《劳动合同法》第90条仅允许用人单位在劳动者造成经济损失时要求赔偿，且赔偿金额需与实际损失相当。

3. “罚款”与“绩效扣减”的区分
   若单位将考试结果与绩效奖金挂钩（如“考试不合格扣减20%绩效”），需注意：

   • 绩效工资属于劳动者劳动报酬的一部分，单位有权根据考核结果调整，但需在劳动合同或规章制度中明确约定；
     
   • 扣减比例需合理，若扣减后劳动者工资低于当地最低工资标准，则违法。

4. 特殊行业或岗位的例外
   部分特殊行业（如金融、医疗）可能因监管要求对从业人员进行定期考核，但监管部门对单位的处罚（如罚款）不能转嫁至劳动者。若单位因自身违规被处罚后，以“考试不合格”为由向劳动者追偿，同样缺乏法律依据。

建议行动：

• 若单位已实施罚款，可要求其出示法律依据或规章制度依据；
  
• 保留工资条、罚款通知等证据，向当地劳动监察大队投诉；
  
• 若因罚款导致工资低于最低标准，可申请劳动仲裁要求补足差额。
  

如有进一步疑问，可直接向我咨询具体场景下的应对方案。