冒充工厂人员向司机要钱是违法的。这种行为可能构成欺诈，具体法律责任需根据实际情况而定。

1. 从法律视角分析：

   • 冒充工厂员工本身属于侵权行为，若以此身份骗取公司财物、薪资等经济权益，则可能触犯诈骗罪。
   • 诈骗罪的构成要件包括：以非法占有为目的，使用欺骗方法，骗取数额较大的公私财物。若冒充者的行为符合这些要件，则可能面临刑事追责。

2. 根据情节轻重处理：

   • 若情节轻微，未产生严重后果，可能面临企业内部的纪律惩处，如警告、罚金等。
   • 若情节恶劣，导致重大经济损失或其他负面影响，企业可向警方报案，交由公安部门展开调查，依法追究其法律责任。

3. 法律建议：

   • 对于受害者或企业而言，一旦发现有人冒充工厂人员行骗，应立即报警，并提供相关证据以便公安部门调查。
   • 同时，企业也应加强内部管理，提高员工防范意识，避免类似事件再次发生。

综上所述，冒充工厂人员向司机要钱是违法的，具体法律责任需根据冒充者的行为情节和后果来确定。若您或您所在的企业遇到此类问题，建议及时报警并寻求法律帮助。