工厂一般没有权利直接对送货司机罚款，但需分情况讨论：

1. 基于劳动合同或雇佣关系的情况
   如果送货司机是工厂的正式员工或与工厂存在雇佣关系（例如通过劳务派遣），工厂需依据《劳动合同法》及内部规章制度对司机进行管理。此时，工厂仅有权在司机违反规章制度（如迟到、货物损坏等）且规章制度合法的前提下，按照约定扣除部分工资或要求赔偿损失，但“罚款”这一表述本身不符合法律规定。根据《工资支付暂行规定》，因员工过错造成损失的，工厂可要求赔偿，但每月扣除部分不得超过当月工资的20%，且扣除后工资不得低于当地最低工资标准。

2. 基于运输合同或承揽关系的情况
   如果司机是独立第三方（如物流公司员工或个体运输户），与工厂仅存在运输合同关系，则工厂无权直接对司机罚款。此时，双方的权利义务由合同约定，若司机违约（如未按时送货、货物损坏），工厂可依据合同要求赔偿损失，但需通过协商、诉讼或仲裁等合法途径解决，而非单方面罚款。若工厂强行扣款，司机可主张其侵犯财产权，要求返还并赔偿损失。

3. 特殊情形：司机存在违法行为
   若司机在送货过程中存在违法行为（如交通肇事、盗窃货物），工厂可向公安机关报案，由司法机关依法处理。工厂自身无权对违法行为进行“罚款”，但可依据合同或法律规定追究司机的民事赔偿责任。

建议：

• 对工厂而言，应通过合法途径（如合同约定、内部规章、诉讼等）维护权益，避免单方面罚款引发劳动纠纷或侵权诉讼；
  
• 对司机而言，若被工厂不合理扣款，可保留证据（如罚款通知、工资条、合同等）向劳动监察部门投诉或提起劳动仲裁/诉讼。
  

如有具体案例或合同条款需要分析，可直接向我咨询。