工厂不可以随意将工人调岗位，是否能够调岗需分情况讨论：

1. 劳动合同有明确约定：如果劳动合同中明确约定了工厂可以根据生产经营需要调整工人的工作岗位，那么工厂在符合合同约定的条件下（比如提前通知、给予合理适应期等），是有权对工人进行调岗的。但这种调岗也应当具有合理性，不能是恶意的、带有惩罚性的调岗，例如将工人从技术岗位调到清洁岗位，且薪资大幅降低，这就超出了合理调岗的范畴。
2. 劳动合同没有明确约定：若劳动合同中没有关于调岗的约定，工厂就不能随意调岗。工厂若要调岗，需要与工人协商一致，并签订书面的变更劳动合同协议。如果工厂未经工人同意擅自调岗，工人有权拒绝。在这种情况下，工厂如果以工人拒绝调岗为由解除劳动合同，可能构成违法解除，需要向工人支付经济赔偿金。
3. 特殊情况下的调岗：在某些特殊情况下，工厂可能不需要工人同意就可以调岗。比如工人患病或者非因工负伤，在规定的医疗期满后不能从事原工作，工厂可以另行安排工作；或者工人不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的，工厂提前三十日以书面形式通知工人本人或者额外支付工人一个月工资后，可以解除劳动合同，这里在解除合同前调整岗位是合理的程序步骤。但即使是这些情况，工厂也需要提供充分的证据证明工人确实存在不能从事原工作或不能胜任工作的情况。

如果工厂随意调岗侵犯了你的权益，你可以先与工厂协商解决；协商不成的，可以向劳动监察部门投诉，或者申请劳动仲裁来维护自己的合法权益。如果你还有其他关于劳动权益方面的问题，欢迎随时向我咨询。