结论：在工厂打工与领导和班长闹矛盾后选择不干，这一行为本身并不犯法。但具体是否违法，还需根据你离职的方式以及是否给工厂造成了损失等因素来综合判断。

详细分析：

1. 正常离职不违法：

   • 如果你与工厂之间签订了劳动合同，并且按照合同规定或者工厂的规章制度，提前通知了工厂并办理了离职手续，那么你的离职行为是完全合法的。
   • 即使没有签订书面劳动合同，但你已经实际为工厂提供了劳动，双方形成了事实劳动关系，你也有权依法解除劳动关系，只要提前合理通知工厂即可。

2. 违法离职的情形：

   • 未提前通知：如果你没有提前通知工厂就擅自离职，这可能构成违法解除劳动合同，特别是如果你的离职给工厂造成了损失，工厂有权要求你赔偿。
   • 违反保密义务或竞业限制：如果你在离职时违反了与工厂签订的保密协议或竞业限制协议，那么你的行为可能构成违法，需要承担相应的法律责任。
   • 恶意离职造成损失：如果你在离职过程中故意破坏工厂财物、泄露工厂机密或者采取其他恶意行为给工厂造成损失，那么你的行为不仅违法，还可能构成犯罪。

3. 建议与注意事项：

   • 提前沟通：在决定离职前，最好与工厂进行沟通，说明你的离职意愿和原因，尽量达成一致意见。
   • 办理离职手续：按照工厂的规章制度或者合同规定，办理离职手续，包括交接工作、归还财物等。
   • 保留证据：在离职过程中，保留好相关证据，如离职申请、交接清单、工资结算单等，以备不时之需。
   • 寻求法律帮助：如果你在离职过程中遇到任何法律问题或者纠纷，可以及时向我咨询，我会根据你的具体情况提供专业的法律建议。

后续行动建议：

• 如果你已经决定离职，并且担心自己的离职行为是否合法，可以先回顾一下自己与工厂之间的劳动合同或者规章制度，看看是否有关于离职的具体规定。
• 如果你在离职过程中遇到了任何问题或者纠纷，不要慌张，及时收集证据并向我咨询，我会根据你的具体情况为你提供专业的法律帮助。