如果工厂要将你调到不同部门，你可以根据具体情况采取以下措施：

1. 查看劳动合同和公司规章制度
   首先，检查你的劳动合同中是否明确约定了工作岗位、工作地点或调岗条款。如果合同中有“公司可根据经营需要调整岗位”等类似条款，公司调岗可能具备一定合法性；但若合同明确约定了具体部门且未赋予公司单方调岗权，则公司调岗可能构成违约。
   同时，查阅公司规章制度中关于调岗的规定（如是否需员工同意、调岗程序等）。若公司未通过民主程序制定规章制度，或规章制度内容违法（如随意调岗、降薪），则相关条款可能无效。

2. 判断调岗的合理性
   即使合同或制度允许调岗，公司仍需证明调岗具有“合理性”，否则可能构成违法调岗。合理性需从以下角度判断：

   • 经营必要性：如原部门撤销、新部门业务扩张等客观原因；
     
   • 调岗不具有侮辱性或惩罚性：例如将技术岗调至保洁岗；
     
   • 工资待遇、劳动条件无实质性降低：如调岗后薪资、职级、工作环境等与原岗位相当；
     
   • 员工能力与新岗位匹配：如调岗后员工能胜任工作。
     若调岗明显不合理（如恶意针对、变相逼迫离职），员工有权拒绝。

3. 与公司协商或提出异议
   若对调岗有异议，可先与公司协商，明确表达不同意调岗的理由（如合同约定、调岗不合理等），并要求公司出具书面调岗通知。若公司坚持调岗，可进一步要求公司说明调岗依据和合理性。
   注意：口头调岗风险高，务必要求公司出具书面文件（如调岗通知书、邮件等），以便后续维权。

4. 拒绝调岗的后果及应对

   • 若调岗合法合理：员工拒绝调岗可能构成旷工，公司有权依据规章制度解除劳动合同（但需支付经济补偿金）。
     
   • 若调岗违法或不合理：员工拒绝调岗不构成旷工，公司若以此为由解除劳动合同属于违法解除，员工可要求继续履行合同或索赔2N倍经济赔偿金。
     建议：拒绝调岗后仍需正常出勤（至原岗位或公司指定地点），避免被认定为旷工；同时收集证据（如劳动合同、调岗通知、沟通记录等），为后续维权做准备。

5. 维权途径
   若与公司协商无果，可通过以下方式维权：

   • 向劳动监察部门投诉：反映公司违法调岗行为，要求介入调查；
     
   • 申请劳动仲裁：主张公司违法调岗或违法解除，要求继续履行合同或支付赔偿金；
     
   • 提起诉讼：对仲裁结果不服的，可向法院起诉。
     

总结：调岗问题需结合合同约定、调岗合理性、公司程序等多方面判断。若调岗违法或不合理，员工有权拒绝并维权；若调岗合法，建议与公司协商或接受调整。具体操作中，务必保留证据、谨慎处理，避免因操作不当丧失维权机会。如有疑问，可直接向我咨询。