结论：工厂调动您的工作岗位，您是否可以不去，这取决于工厂调岗的合法性及双方劳动合同的约定等多种情况。以下为您详细分析：

一、若工厂调岗合法且合理

1. 劳动合同有明确约定：如果劳动合同中明确约定了工厂可以根据生产经营需要调整您的工作岗位，且调岗具有合理性（如不降低工资待遇、不具有侮辱性或惩罚性等），那么工厂的调岗行为通常是合法的。在这种情况下，您应当服从工厂的安排，否则可能构成违约，工厂有权依据劳动合同的约定或相关法律法规进行处理，比如解除劳动合同且不支付经济补偿金。
2. 基于生产经营需要且协商一致：即使劳动合同中没有明确约定调岗条款，但如果工厂因生产经营需要，且与您协商一致后进行调岗，这也是合法的。您同样应当服从调岗安排，否则可能面临不利后果。

二、若工厂调岗不合法或不合理

1. 未协商一致且无合理理由：如果工厂未经您同意，擅自调整您的工作岗位，且没有合理的生产经营需要作为依据，那么这种调岗行为可能是违法的。您有权拒绝调岗，并可以要求工厂继续履行原劳动合同，或者以工厂违法调岗为由解除劳动合同，并要求工厂支付经济补偿金。
2. 调岗具有侮辱性或惩罚性：如果工厂的调岗行为明显具有侮辱性或惩罚性，比如将您从管理岗位调整到清洁岗位，且工资待遇大幅降低，那么这种调岗行为也是违法的。您同样有权拒绝调岗，并可以采取相应的法律措施维护自己的合法权益。
3. 调岗后工资待遇降低：根据相关法律法规，工厂在调岗时应当保持您的工资待遇不变或有所提高。如果调岗后您的工资待遇明显降低，那么这种调岗行为也是不合法的。您有权拒绝调岗，并要求工厂按照原工资待遇支付工资。

三、应对建议

1. 查看劳动合同：首先，您应当仔细查看劳动合同中关于调岗的条款，了解自己的权利和义务。
2. 与工厂协商：如果工厂提出调岗，您可以与工厂进行协商，了解调岗的原因、目的以及调岗后的工资待遇等情况。如果认为调岗不合理或违法，您可以明确表达自己的意见，并要求工厂继续履行原劳动合同。
3. 收集证据：如果工厂坚持违法调岗，您应当注意收集相关证据，比如调岗通知、工资条、工作记录等，以便在后续的法律程序中维护自己的合法权益。
4. 寻求法律帮助：如果您对工厂的调岗行为有异议，且无法与工厂协商解决，您可以向我咨询或寻求其他法律帮助，通过法律途径维护自己的合法权益。

最后，工厂调岗是否合法合理需要综合考虑多种因素。如果您对调岗行为有异议，建议先与工厂进行协商，并收集相关证据。如有需要，您可以随时向我咨询，我会根据您的具体情况为您提供专业的法律建议。