工厂对外来车司机罚款一般是不合法的，但具体情况需分情况讨论：

1. 工厂无行政处罚权
   根据我国《行政处罚法》的规定，只有行政机关（如交通管理部门、公安机关等）在法定权限范围内才能实施罚款等行政处罚。工厂作为企业法人，并不具备行政处罚的主体资格，因此无权直接对外来车辆司机进行罚款。若工厂以自身名义实施罚款，属于超越权限的违法行为。

2. 合同约定或内部管理规则的效力
   若司机与工厂存在运输合同关系，或工厂通过合法程序（如民主协商）制定了内部管理规则，并明确约定了违约责任（如超时停车、违规操作等需支付违约金），则工厂可依据合同或规则要求司机承担违约责任。但需注意：

   • 违约金金额需合理，不得超过实际损失的30%（依据《民法典》第585条）；
     
   • 规则需通过民主程序制定并公示，否则对司机不产生约束力；
     
   • 工厂只能通过民事途径（如起诉）主张权利，而非直接罚款。

3. 特殊情形：工厂代行管理权
   若工厂受行政机关委托（如交通管理部门授权管理厂区周边交通秩序），并在委托范围内实施罚款，则可能合法。但需满足：

   • 有明确的行政委托书；
     
   • 罚款依据为地方性法规或规章；
     
   • 罚款程序符合《行政处罚法》规定（如告知权利、出具凭证等）。
     此类情形极为罕见，需严格审查委托手续和法律依据。

建议：

• 若工厂以“罚款”名义扣钱，司机可要求工厂出具书面依据，核实其合法性；
  
• 若涉及合同违约，可协商调整违约金金额，或通过诉讼主张权利；
  
• 若工厂行为涉嫌违法，可向当地劳动监察部门或市场监管部门投诉。
  

如有进一步疑问，可直接向我咨询具体细节。