工厂工人没有保险，回家路上出意外，工厂是否有责任需分情况讨论：

1. 若意外属于工伤范畴
   根据《工伤保险条例》第十四条第六项规定，职工在上下班途中，受到非本人主要责任的交通事故或者城市轨道交通、客运轮渡、火车事故伤害的，应当认定为工伤。此时，工厂需承担工伤保险责任，包括支付医疗费、伤残补助金等，即使未缴纳工伤保险，工厂也需自行承担赔偿（依据《工伤保险条例》第六十二条）。
   关键点：需证明事故责任非工人主要责任（如交警认定书），且属于法定事故类型（如交通事故）。

2. 若意外不属于工伤范畴
   若工人回家途中因自身原因（如突发疾病、意外摔倒）或第三方全责导致受伤，且不符合工伤认定条件，工厂原则上不承担责任。但需注意：

   • 若工厂存在过错（如要求工人加班导致疲劳驾驶、未提供安全交通条件），可能需根据《民法典》第一千一百六十五条承担部分侵权责任；
     
   • 若工厂未缴纳工伤保险，可能面临劳动监察部门处罚（《社会保险法》第八十四条），但不影响工伤认定本身。

3. 未缴纳保险的额外影响
   工厂未依法缴纳工伤保险，除需自行承担工伤赔偿外，还可能面临：

   • 劳动行政部门责令补缴并加收滞纳金；
     
   • 工人以此为由解除劳动合同并主张经济补偿金（《劳动合同法》第三十八条、第四十六条）。

建议行动：

• 工人应尽快收集证据（如事故认定书、医疗记录、考勤记录）申请工伤认定；
  
• 工厂若未缴保险，建议主动协商赔偿或补缴保险，避免行政处罚和诉讼风险。
  

如有进一步细节（如事故类型、工厂管理情况），可向我补充说明，我会为您具体分析。