结论：工厂没有试用期，刚做几天是否可以不干，这主要取决于您与工厂之间的约定以及您选择离职的方式。以下从不同角度为您详细分析：

1. 若您与工厂有明确约定离职条款：

   • 如果您在入职时与工厂有明确的书面或口头约定，比如约定了“在入职后一定期限内（如几天内）可以无条件离职”，那么您当然可以依据这个约定选择不干，并按照约定办理离职手续。

2. 若您与工厂没有明确约定离职条款：

   • 试用期的法律视角：虽然工厂没有设定试用期，但根据《中华人民共和国劳动合同法》的相关规定，试用期并非劳动合同的必备条款。没有试用期并不意味着您不能离职，只是离职时可能需要遵循更一般的劳动合同解除规则。
   • 离职的合法方式：
     • 协商一致离职：您可以与工厂协商一致，达成离职的共识，并按照双方协商的结果办理离职手续。这种方式最为平和，也最不容易产生纠纷。
     • 提前通知离职：如果您没有与工厂协商一致，但想要离职，根据《中华人民共和国劳动合同法》第三十七条，劳动者提前三十日以书面形式通知用人单位，可以解除劳动合同。在试用期内，劳动者提前三日通知用人单位，可以解除劳动合同。虽然您的情况可能不涉及试用期，但提前通知的原则仍然适用，只是通知期限可能需要根据实际情况和工厂的规定来确定（若工厂无特别规定，可参照三十日）。不过，由于您刚做几天，实际操作中，与工厂协商一个较短的通知期限或直接离职并办理好交接手续，可能是更为实际的选择。
     • 因工厂违法行为离职：如果工厂存在未按照劳动合同约定提供劳动保护或者劳动条件、未及时足额支付劳动报酬等违法行为，您有权根据《中华人民共和国劳动合同法》第三十八条的规定，立即解除劳动合同，并无需提前通知工厂。

3. 离职时的注意事项：

   • 办理离职手续：无论您选择哪种方式离职，都应当与工厂办理好离职手续，包括交接工作、归还公司财物、结清工资等。
   • 保留证据：在离职过程中，建议您保留好与工厂的沟通记录、工资条、工作证等证据，以备不时之需。
   • 避免违法离职：在离职时，请确保您的行为符合法律法规的规定，避免因为违法离职而给自己带来不必要的法律风险。

建议：如果您刚做几天就想离职，建议您首先与工厂进行沟通，了解工厂的离职政策和规定，并尝试达成一个双方都能接受的离职协议。如果沟通无果，您可以根据自己的实际情况和法律法规的规定，选择合适的离职方式。如果您在离职过程中遇到任何问题或纠纷，欢迎随时向我咨询，我会根据您的具体情况为您提供专业的法律建议。