不可以直接走。在工厂工作了两天后不想继续工作，通常不能直接离职。根据《中华人民共和国劳动合同法》的相关规定，劳动者若要离职，需要提前告知用人单位。具体来说：
如果你处于试用期：
- 根据《中华人民共和国劳动合同法》第三十七条，劳动者在试用期内提前三日通知用人单位，可以解除劳动合同。因此，理论上你可以提前三天提出辞职申请，并在三天后离开。但如果与用人单位沟通顺畅，双方协商一致，也可能在更短的时间内离职。
如果你已是正式员工：
- 正式员工需提前三十日以书面形式通知用人单位解除劳动合同。这意味着，没有特殊情况或紧急原因，你不能随意在第二天就离开。
此外，还需注意以下几点：
- 工作交接：即使决定离职，也应按照公司规定办理工作交接、物品归还等手续，这不仅体现职业素养，也能避免后续纠纷。
- 法律责任：未按规定流程离职可能导致工资扣发、社保中断等问题，甚至被追究违约责任。
因此，建议你在离职前与用人单位进行充分沟通，说明离职原因并协商解决方案，以确保离职过程的顺利进行。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。