结论：入职四天自离，工厂是否有权追究责任，需视具体情况而定，主要取决于员工自离是否给工厂造成了实际损失以及双方劳动合同或相关规章制度中的约定。
分析说明：
劳动合同或规章制度中的约定：
- 如果劳动合同或工厂的规章制度中明确规定了员工自离需承担的责任或赔偿方式，且这些规定不违反法律法规的强制性规定，那么工厂有权依据这些规定追究员工的责任。
- 例如，若合同中约定员工自离需支付一定数额的违约金或赔偿工厂因员工离职而产生的直接经济损失（如招聘费用、培训费用等），且这些费用是合理且实际发生的，工厂可以要求员工支付。
实际损失情况：
- 即使劳动合同或规章制度中没有明确规定，如果员工自离确实给工厂造成了实际损失，工厂也有权要求员工进行赔偿。
- 实际损失可能包括但不限于：因员工离职导致的生产中断损失、紧急招聘替代员工的费用、因员工离职而错过的商业机会等。但工厂需要提供充分的证据证明这些损失是由员工自离直接导致的，且损失数额是合理且可计算的。
法律限制：
- 需要注意的是，工厂在追究员工责任时，必须遵守相关法律法规的规定。例如，根据《劳动合同法》的规定，用人单位不得与劳动者约定由劳动者承担违约金（除服务期和竞业限制情形外），也不得随意扣除劳动者的工资作为赔偿。
- 因此，如果工厂试图通过扣除工资、要求支付高额违约金等方式追究员工责任，可能面临法律风险。
行动建议：
- 对于员工：在决定自离前，应仔细阅读劳动合同和工厂的规章制度，了解自离可能承担的责任和后果。如果确实需要离职，建议提前与工厂沟通并办理离职手续，以减少不必要的纠纷。
- 对于工厂：在制定劳动合同和规章制度时，应明确员工自离的责任和赔偿方式，并确保这些规定不违反法律法规的强制性规定。同时，在员工自离后，如果确实造成了实际损失，应收集充分证据并依法追究员工责任。
后续思考依据：
- 在处理类似纠纷时，法院或劳动仲裁机构通常会根据劳动合同、规章制度以及实际损失情况来综合判断员工是否应承担责任以及承担多少责任。
- 因此，无论是员工还是工厂，在处理自离问题时都应注重证据的收集和保存，以便在必要时维护自己的合法权益。
如有更多关于劳动工伤方面的疑问，可以直接向我咨询。