工厂是否有责任，取决于具体情况，以下分情况讨论：
如果工厂对临时工的管理存在过错：
- 工厂若对中介派遣的临时工负有管理责任，例如未对临时工进行必要的安全培训、未提供安全的工作环境，或者临时工是在执行工厂指派的任务时实施了伤害行为，那么工厂可能需要承担一定的责任。这种责任可能基于工厂的过错，如未尽到安全管理义务，根据《中华人民共和国民法典》中关于侵权责任的规定，工厂可能需要赔偿受害者的损失。
如果工厂对临时工的管理不存在过错，且伤害行为是临时工个人行为：
- 如果工厂已经尽到了合理的管理责任，且临时工的伤害行为是其个人行为，与工厂的工作安排或管理无关，那么工厂通常不需要承担责任。在这种情况下，伤害行为应被视为临时工的个人侵权行为，受害者应直接向临时工或其雇主（中介公司）寻求赔偿。
关于中介公司的责任：
- 中介公司作为临时工的雇主，对临时工的行为负有一定的管理责任。如果临时工在执行工作任务时造成了他人伤害，中介公司可能需要根据《中华人民共和国民法典》中关于雇主责任的规定，承担相应的赔偿责任。
建议与行动：
- 收集证据：首先，您应尽快收集相关证据，包括现场照片、视频、目击者证言等，以证明伤害行为的发生以及工厂或临时工的可能过错。
- 报警处理：及时报警，让警方介入调查，并出具事故认定书或相关证明，这将有助于后续的法律程序。
- 寻求法律援助：根据具体情况，您可以考虑向工厂或中介公司提出索赔要求。如果双方无法达成一致，您可以寻求法律援助，通过法律途径维护自己的权益。在此过程中，我可以为您提供专业的法律咨询和代理服务。
后续思考：
- 在处理此类纠纷时，了解工厂和中介公司的具体管理责任以及相关法律法规是非常重要的。这将有助于您更准确地判断责任归属，并采取有效的法律行动。
- 同时，您也应考虑自身的安全保障措施，如在工作时佩戴安全防护装备、遵守安全操作规程等，以减少类似事件的发生。
如果您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询。