结论：外来货车司机在厂内倒车撞死人，构成过失致人死亡罪时，工厂并非一定没有责任。工厂是否担责，需根据具体情况判断，可能涉及民事赔偿责任，甚至在某些情况下，工厂相关责任人员也可能面临刑事责任。以下从不同角度详细分析：
一、刑事责任角度
司机责任：
- 若司机因疏忽大意或过于自信导致他人死亡，且未违反交通运输管理法规，或在非直接生产作业区域（如公共通道）发生，可能构成过失致人死亡罪。根据《中华人民共和国刑法》第二百三十三条，过失致人死亡的，处三年以上七年以下有期徒刑；情节较轻的，处三年以下有期徒刑。
工厂责任：
- 重大责任事故罪：如果工厂区域属于生产作业场所，且倒车行为发生在生产、作业过程中，因工厂违反安全管理规定（如未设置安全警示标志、未提供必要的安全培训等），导致重大伤亡事故，工厂相关责任人员可能构成重大责任事故罪。依据相关法律法规，此罪行一般处三年以下有期徒刑或者拘役；情节特别恶劣的，处三年以上七年以下有期徒刑。
二、民事赔偿责任角度
- 法律依据：根据《中华人民共和国民法典》第一千一百七十九条，侵害他人造成人身损害的，应当赔偿医疗费、护理费、交通费等为治疗和康复支出的合理费用，以及因误工减少的收入。造成死亡的，还应当赔偿丧葬费和死亡赔偿金。
- 工厂责任：如果工厂在安全管理上存在过错（如未尽到安全保障义务、未提供安全的工作环境等），导致事故发生，工厂应当承担相应的民事赔偿责任。这包括赔偿受害人家属的丧葬费、死亡赔偿金等。
三、具体情境分析
工厂道路性质：
- 如果工厂内道路允许社会机动车通行，那么发生的倒车撞人事件应被认定为交通事故。此时，除了司机可能面临的交通肇事罪责任外，如果工厂在道路管理、安全设施设置等方面存在过错，也可能需要承担相应的民事赔偿责任。
工厂安全管理：
- 工厂有义务提供安全的工作环境，包括设置必要的安全警示标志、提供安全培训、确保设备安全等。如果工厂未履行这些义务，导致事故发生，工厂应当承担责任。
四、建议
- 对于受害人家属：可以收集相关证据（如现场照片、监控视频、证人证言等），向工厂和司机主张民事赔偿责任。如果认为工厂或司机存在刑事犯罪行为，可以向公安机关报案。
- 对于工厂：应加强安全管理，完善安全制度，确保生产作业过程中的安全。同时，可以购买相关保险（如雇主责任险、公众责任险等），以分散风险。
- 对于司机：应严格遵守交通规则和工厂的安全管理规定，谨慎驾驶，避免发生事故。如果发生事故，应积极配合调查，承担相应的责任。
总结：外来货车司机在厂内倒车撞死人，工厂并非一定没有责任。具体责任需根据事故发生的具体情况、工厂的安全管理状况、司机的行为等因素综合判断。如果你有任何法律问题或需要进一步的法律帮助，请直接向我咨询。