结论：工人上夜班下班时遇车祸死亡，工厂是否有责任需视具体情况而定，主要取决于车祸是否构成工伤以及工厂是否存在过错。以下从不同角度进行分析：

一、车祸是否构成工伤

1. 上下班途中发生非本人主要责任的交通事故：

   • 根据《工伤保险条例》第十四条第六项的规定，职工在上下班途中，受到非本人主要责任的交通事故或者城市轨道交通、客运轮渡、火车事故伤害的，应当认定为工伤。
   • 分析：若工人在下班途中遭遇车祸，且该车祸非工人本人主要责任（如对方闯红灯、酒驾等），则该车祸应被认定为工伤。在此情况下，工厂需承担工伤保险责任，包括支付丧葬补助金、供养亲属抚恤金和一次性工亡补助金等。

2. 上下班途中发生本人主要责任的交通事故：

   • 若工人在下班途中遭遇车祸，且该车祸由工人本人主要责任（如工人闯红灯、酒驾等），则该车祸不构成工伤。
   • 分析：在此情况下，工厂无需承担工伤保险责任。但工厂若存在其他过错（如未提供安全的上下班环境、未进行必要的安全教育等），仍可能需承担一定的民事赔偿责任。

二、工厂是否存在过错

1. 工厂未尽到安全保障义务：

   • 若工厂未提供安全的上下班环境（如道路照明不足、未设置安全警示标志等），或未对工人进行必要的安全教育（如交通安全教育、应急处理培训等），导致工人在下班途中遭遇车祸，工厂可能需承担一定的民事赔偿责任。
   • 分析：工厂作为用人单位，有义务为工人提供安全的工作环境，包括上下班途中的安全保障。若工厂未尽到该义务，导致工人受伤或死亡，工厂应承担相应的赔偿责任。

2. 工厂已尽到安全保障义务：

   • 若工厂已提供安全的上下班环境，并对工人进行了必要的安全教育，但工人仍因个人原因（如疏忽大意、违反交通规则等）遭遇车祸，工厂通常无需承担赔偿责任。
   • 分析：在此情况下，工厂已尽到其作为用人单位的义务，工人的伤亡系因其个人原因所致，与工厂无关。

三、特殊情况下的责任承担

1. 工厂未为工人缴纳工伤保险：

   • 若工厂未依法为工人缴纳工伤保险，导致工人无法享受工伤保险待遇，工厂需承担工伤保险待遇的赔偿责任。
   • 分析：根据《工伤保险条例》第六十二条的规定，用人单位依照本条例规定应当参加工伤保险而未参加的，由社会保险行政部门责令限期参加，补缴应当缴纳的工伤保险费，并自欠缴之日起，按日加收万分之五的滞纳金；逾期仍不缴纳的，处欠缴数额1倍以上3倍以下的罚款。同时，用人单位未参加工伤保险期间职工发生工伤的，由该用人单位按照本条例规定的工伤保险待遇项目和标准支付费用。

2. 第三方责任与工厂责任的竞合：

   • 若工人下班途中遭遇的车祸系由第三方（如其他车辆驾驶员）造成，且该第三方需承担赔偿责任，同时工厂也存在过错（如未尽到安全保障义务），则工人或其家属可同时向第三方和工厂主张赔偿。
   • 分析：在此情况下，第三方和工厂的责任可能构成竞合。工人或其家属可根据实际情况选择向其中一方或双方主张赔偿。若向双方主张赔偿，则赔偿总额不得超过工人或其家属因车祸所遭受的实际损失。

建议：若工人上夜班下班时遇车祸死亡，家属应尽快收集相关证据（如交通事故认定书、医疗证明、工资单等），并咨询专业律师以确定工厂是否需承担责任及责任大小。同时，家属也可向当地社会保险行政部门申请工伤认定，以维护自身合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。