结论：小工厂不交工人税是不合法的，工厂有义务为工人代扣代缴个人所得税，并依法申报和缴纳其他相关税费。

分析：

1. 个人所得税的代扣代缴义务：

   • 根据《中华人民共和国个人所得税法》的规定，支付所得的单位或者个人（即扣缴义务人）有义务为纳税人代扣代缴个人所得税。在小工厂与工人的劳动关系中，小工厂作为支付工资薪金的单位，是法定的扣缴义务人。
   • 如果小工厂不履行代扣代缴义务，可能会面临税务机关的处罚，包括罚款、滞纳金等，并可能影响工厂的信用记录。

2. 其他税费的缴纳义务：

   • 除了个人所得税外，小工厂还可能涉及其他税费的缴纳，如增值税、企业所得税等（具体取决于工厂的经营活动和税务登记情况）。
   • 这些税费的缴纳也是工厂的法定义务，不履行同样会面临税务机关的处罚。

3. 合法合规的建议：

   • 小工厂应建立健全的财务管理制度，确保按时、足额地代扣代缴工人的个人所得税，并依法申报和缴纳其他相关税费。
   • 工厂可以定期咨询专业的税务顾问或会计师，以确保税务处理的准确性和合规性。
   • 如果工厂对税务处理存在疑问或困难，应及时向税务机关咨询或寻求帮助，避免因为税务问题而引发不必要的法律风险。

可能后果：

• 如果小工厂不交工人税，一旦被税务机关查处，将面临罚款、滞纳金等处罚，并可能影响工厂的信用记录和正常经营。
• 在严重情况下，如果工厂的行为构成逃税罪等刑事犯罪，还可能面临刑事责任的追究。

建议行动：

• 如果您是小工厂的负责人或工人，发现工厂存在不交税的情况，应及时向工厂提出并要求其改正。
• 如果工厂拒绝改正或您对工厂的税务处理存在疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议和帮助。