结论：在工厂仅工作四天且未辞职直接离开，可能会面临工资结算、劳动关系解除以及可能的法律责任等问题。以下是对这些问题的详细分析：
工资结算问题：
- 根据《中华人民共和国劳动法》及相关规定，劳动者有权获得其应得的劳动报酬。因此，即使你仅在工厂工作了四天，也有权要求工厂按照实际工作天数支付相应的工资。
- 如果工厂拒绝支付或拖欠工资，你可以向当地劳动监察部门投诉，或者通过劳动仲裁途径来维护自己的合法权益。
劳动关系解除问题：
- 在你未正式提出辞职并办理离职手续的情况下直接离开，从法律上讲，这可能被视为自动离职或旷工。然而，由于你仅工作了四天，且可能尚未与工厂签订正式的劳动合同，因此劳动关系的解除可能相对简单。
- 尽管如此，为了保障自己的权益，建议你还是尽量与工厂进行沟通，明确表达离职意愿，并协商办理离职手续，包括工资结算、工作交接等。
可能的法律责任：
- 在一般情况下，仅因工作四天未辞职直接离开，不太可能承担严重的法律责任。但是，如果你在离职过程中给工厂造成了经济损失（如损坏设备、泄露商业秘密等），工厂有权要求你承担相应的赔偿责任。
- 此外，如果工厂有明确的规章制度，且你违反了这些规定（如未提前通知离职、未办理离职手续等），工厂也可能根据规章制度对你进行一定的处理或处罚。不过，这些处理或处罚应当合理且合法，不能侵犯你的合法权益。
建议：
- 为了避免不必要的麻烦和纠纷，建议你尽量与工厂进行友好沟通，明确表达离职意愿，并协商办理离职手续。
- 如果工厂拒绝支付工资或存在其他违法行为，你可以向当地劳动监察部门投诉或寻求法律援助，通过法律途径来维护自己的合法权益。
- 在未来的工作中，建议你提前了解并遵守工厂的规章制度和劳动法律法规，以避免类似情况的发生。
如果你有任何进一步的法律问题或需要更详细的法律建议，请直接向我咨询，我会根据你的具体情况为你提供专业的法律帮助。