工厂不可以随便调动工人班次。这一结论主要基于以下几点法律分析：
劳动合同的约定：
- 根据《中华人民共和国劳动合同法》的相关规定，劳动合同是劳动者与用人单位确立劳动关系、明确双方权利和义务的协议。劳动合同中通常会明确约定劳动者的工作岗位、工作时间、工作地点等关键条款。
- 如果劳动合同中明确规定了工人的班次，那么工厂在未经工人同意的情况下，不得随意调动班次。因为这涉及到对劳动合同条款的变更，需要双方协商一致，并签订书面变更协议。
劳动法的保护：
- 《中华人民共和国劳动法》也规定了劳动者的工作时间和休息休假权利。工厂随意调动班次可能会侵犯工人的休息权，导致工人无法得到充分的休息，进而影响其身体健康和工作效率。
- 如果工厂因生产经营需要调整班次，应当与工会和劳动者协商后进行，并尽可能采取措施减少对劳动者的影响。
实际操作中的注意事项：
- 即使工厂因特殊原因需要调整班次，也应当提前通知工人，并给予工人合理的适应时间。同时，工厂应当确保调整后的班次不会违反劳动法的相关规定，如每日工作时间不超过八小时、平均每周工作时间不超过四十四小时等。
- 如果工人对班次调整有异议，可以与工厂进行协商。如果协商不成，工人可以向当地的劳动争议调解委员会申请调解，或者向劳动争议仲裁委员会申请仲裁。
可能面临的法律后果：
- 如果工厂未经工人同意随意调动班次，可能会面临劳动行政部门的处罚，如警告、罚款等。
- 同时，工人也有权要求工厂恢复原班次，或者要求工厂支付因班次调整而产生的额外费用（如交通费、餐费等）。
- 在极端情况下，如果工厂的行为严重侵犯了工人的权益，工人还有权解除劳动合同，并要求工厂支付经济补偿。
建议：
- 对于工人而言，如果遇到工厂随意调动班次的情况，应当首先查看劳动合同中的相关条款，了解自己的权益。
- 然后，与工厂进行协商，表达自己的异议和诉求。如果协商不成，可以向当地的劳动争议调解委员会或劳动争议仲裁委员会寻求帮助。
- 对于工厂而言，应当尊重工人的权益，遵守劳动法的相关规定。在需要调整班次时，应当与工人进行充分沟通，并尽可能采取措施减少对工人的影响。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。