工厂员工在休息时间做临时工发生事故，责任归属需根据具体情况分析，一般可能涉及临时工雇主、工厂以及员工自身三方责任。以下从不同角度进行详细分析：
临时工雇主的责任：
- 如果员工在休息时间从事的临时工工作与工厂无关，而是受雇于其他个人或单位，那么根据《工伤保险条例》及相关劳动法律法规，临时工雇主应当承担相应的雇主责任。这包括提供安全的工作环境、必要的劳动保护措施，以及在事故发生后承担相应的赔偿责任。
- 法律依据：根据《工伤保险条例》第二条，中华人民共和国境内的企业、事业单位、社会团体、民办非企业单位、基金会、律师事务所、会计师事务所等组织和有雇工的个体工商户（以下称用人单位）应当依照本条例规定参加工伤保险，为本单位全部职工或者雇工（以下称职工）缴纳工伤保险费。虽然此条款直接针对的是正式员工，但临时工雇主同样有义务保障临时工的安全，并在事故发生时承担相应责任。
工厂的责任：
- 如果员工在休息时间从事的临时工工作仍然是在工厂内进行，且工厂对此知情或应当知情，那么工厂可能因未尽到安全管理义务而承担一定责任。特别是如果工厂允许或默许员工在休息时间从事与工厂生产相关的临时工工作，那么工厂的责任可能更大。
- 特殊情况：如果员工在休息时间从事的临时工工作虽然与工厂生产无直接关系，但工厂提供了工作场所或设施，且这些场所或设施存在安全隐患导致事故发生，工厂也可能因未尽到安全保障义务而承担部分责任。
员工自身的责任：
- 如果员工在休息时间从事的临时工工作完全是其个人行为，与工厂无关，且员工在事故发生时存在故意或重大过失（如违反操作规程、未采取必要的安全措施等），那么员工自身可能需要承担一定责任。
- 法律依据：根据《工伤保险条例》第十六条，职工符合工伤认定条件，但存在故意犯罪、醉酒或者吸毒、自残或者自杀等情形的，不得认定为工伤或者视同工伤。虽然此条款直接针对的是工伤认定，但同样可以引申为，如果员工在事故发生时存在故意或重大过失，其可能需要承担相应责任。
建议与后续行动：
- 对于员工而言，如果发生此类事故，应首先确保自身安全，并及时就医治疗。同时，应收集相关证据（如工作合同、工资单、事故现场照片等），以便后续维权。
- 对于工厂和临时工雇主而言，应加强安全管理，确保工作场所和设施的安全。同时，应为员工购买相应的工伤保险，以分散风险。
- 如果发生纠纷，建议双方首先通过协商解决。如果协商无果，可以向当地劳动争议调解委员会申请调解，或者向劳动仲裁委员会申请仲裁。必要时，还可以向人民法院提起诉讼。
总结：工厂员工在休息时间做临时工发生事故的责任归属需根据具体情况分析。在处理此类纠纷时，应充分考虑各方责任，并依据相关法律法规进行维权。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。