结论：临时工在七天内自离，工厂是否有权追究责任，需视具体情况而定，主要取决于临时工与工厂之间是否建立了劳动关系以及自离行为是否给工厂造成了实际损失。
分析说明：
劳动关系建立情况：
- 若建立了劳动关系：根据《中华人民共和国劳动合同法》的相关规定，劳动者与用人单位建立劳动关系后，应当遵守用人单位的规章制度，按照约定提供劳动。如果临时工在七天内自离，且未按照法定程序或合同约定提前通知工厂，可能构成违法解除劳动合同（如果双方已签订劳动合同）或违反工厂规章制度（如果双方未签订劳动合同但存在事实劳动关系）。在此情况下，工厂有权根据实际损失情况，要求临时工承担相应的赔偿责任。
- 若未建立劳动关系：如果临时工与工厂之间只是形成了短期的劳务关系，且双方未就离职程序、赔偿责任等事项进行明确约定，那么工厂在临时工自离后，可能难以直接追究其法律责任。但工厂可以依据双方之间的口头或书面协议（如有），要求临时工承担因其自离行为给工厂造成的直接经济损失。
实际损失情况：
- 工厂在追究临时工责任时，必须证明自离行为给工厂造成了实际损失。这些损失可能包括但不限于：因临时工离职导致的生产中断损失、重新招聘和培训新员工的费用、因临时工离职而错过的商业机会等。
- 如果工厂无法证明存在实际损失，或者损失金额较小，那么工厂追究临时工责任的法律基础将相对薄弱。
法律建议：
对于工厂：
- 在与临时工建立劳动关系或劳务关系时，应明确双方的权利和义务，包括离职程序、赔偿责任等事项。
- 一旦发生临时工自离的情况，工厂应及时收集证据，证明自离行为给工厂造成的实际损失，以便在必要时追究临时工的法律责任。
对于临时工：
- 在离职前，应尽量按照法定程序或合同约定提前通知工厂，以避免不必要的法律纠纷。
- 如果因特殊原因需要立即离职，应与工厂进行协商，并尽量达成一致意见，以减少对工厂的影响和自身的法律责任。
后续行动：如果您作为工厂方或临时工方，在面临此类问题时，建议直接向我咨询，以便根据具体情况提供更详细的法律建议和解决方案。