结论：临聘人员下班期间出现意外，工厂是否有责任需根据具体情况判断，主要看是否构成工伤以及工厂是否存在过错。以下从不同角度进行分析：

一、是否构成工伤

1. 上下班途中发生非本人主要责任的交通事故：

   • 根据《工伤保险条例》第十四条第六项，职工在上下班途中，受到非本人主要责任的交通事故或者城市轨道交通、客运轮渡、火车事故伤害的，应当认定为工伤。
   • 举例：如果临聘人员在下班途中，因非本人主要责任的交通事故受伤，那么工厂应承担工伤赔偿责任。

2. 其他下班期间发生的意外：

   • 如果临聘人员在下班期间发生的意外不属于上述交通事故范畴，且不符合《工伤保险条例》中其他工伤认定情形（如工作时间和工作场所内因工作原因受到事故伤害、因工外出期间由于工作原因受到伤害等），则一般不认定为工伤。
   • 举例：临聘人员下班后自行外出游玩受伤，或因个人原因（如醉酒、自杀等）受伤，这些情况通常不构成工伤。

二、工厂是否存在过错

1. 工厂有过错的情况：

   • 如果工厂在安全管理、工作安排等方面存在过错，导致临聘人员在下班期间发生意外，工厂可能需要承担相应的民事赔偿责任。
   • 举例：工厂安排临聘人员加班至深夜，且未提供安全的下班回家路线或交通工具，导致临聘人员在下班途中发生意外，工厂可能因过错而承担责任。

2. 工厂无过错的情况：

   • 如果工厂在安全管理、工作安排等方面已尽到合理义务，且临聘人员下班期间发生的意外与工厂工作无直接关联，那么工厂通常不承担责任。
   • 举例：临聘人员下班后自行决定去某地游玩，途中发生意外，工厂对此无过错，不承担责任。

三、法律建议

1. 对于临聘人员：

   • 在下班期间发生意外后，应及时收集相关证据（如医疗证明、事故现场照片、证人证言等），以便后续维权。
   • 如果认为可能构成工伤，应及时向工厂或当地社保部门申请工伤认定。

2. 对于工厂：

   • 应加强安全管理，确保工作场所和上下班路线的安全。
   • 在安排工作时，应合理考虑员工的工作时间和休息时间，避免过度加班导致员工疲劳或安全隐患。
   • 如果发生意外，应积极配合相关部门调查处理，并依法承担相应责任。

进一步思考：在实际操作中，工伤认定和赔偿责任划分可能涉及复杂的法律程序和证据收集。如果临聘人员或工厂对工伤认定或赔偿责任有争议，建议及时咨询专业律师，以便更好地维护自身权益。如果你有具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。