结论：新上班4天下班途中出交通事故，工厂是否有责任需根据具体情况判断，主要看是否构成工伤。若构成工伤，工厂需承担相应责任；若不构成，则工厂一般无直接责任，但可能需承担部分道义或补偿责任。以下为详细分析：

一、是否构成工伤的判断

根据《工伤保险条例》的相关规定，职工在上下班途中，受到非本人主要责任的交通事故或者城市轨道交通、客运轮渡、火车事故伤害的，应当认定为工伤。因此，判断工厂是否有责任，首先要看这起交通事故是否符合工伤的认定条件。

1. 事故时间：需确认事故是否发生在下班途中，即从工厂到居住地的合理路线和合理时间内。

2. 事故责任：需确认职工在事故中是否承担非主要责任。如果职工在事故中承担主要责任或全部责任，则不符合工伤认定条件。

3. 事故类型：需确认事故是否为交通事故，且是否涉及城市轨道交通、客运轮渡、火车等特定交通工具（本案例中主要关注交通事故）。

二、工厂的责任承担

1. 若构成工伤：

   • 工厂需按照《工伤保险条例》的规定，为职工申请工伤认定，并承担相应的工伤保险责任。
   • 工伤保险责任包括支付工伤医疗费用、停工留薪期工资、一次性伤残补助金等。
   • 如果工厂未依法为职工缴纳工伤保险费，则所有工伤保险待遇由工厂承担。

2. 若不构成工伤：

   • 工厂一般无直接法律责任，但可能需承担部分道义或补偿责任，具体取决于工厂的政策和职工与工厂之间的协商。
   • 职工可以通过交通事故责任认定，向事故责任方（如对方驾驶员、保险公司等）主张民事赔偿。

三、建议与行动

1. 及时报警并保留证据：发生交通事故后，应立即报警并保留好相关证据，如事故现场照片、交警出具的事故责任认定书等。

2. 申请工伤认定：如果符合工伤认定条件，应及时向工厂或当地社会保险行政部门申请工伤认定。

3. 协商与诉讼：根据事故责任和工伤认定结果，与工厂或事故责任方进行协商，寻求合理赔偿。如果协商无果，可以考虑通过法律途径解决争议。

4. 咨询专业律师：在处理此类复杂法律问题时，建议咨询专业律师以获取更具体、更专业的法律建议。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律解答和建议。