结论：工厂上班不能随意调岗，若调岗不合理且您无法接受，有权拒绝前往新部门。但具体是否可行及后续处理方式，需结合调岗的合法性、合理性以及劳动合同的约定等因素综合判断。以下从不同角度为您详细分析：
一、调岗的合法性基础
劳动合同约定：
- 若劳动合同中明确约定了调岗的条件、程序或范围，且此次调岗符合合同约定，那么工厂有权进行调岗，您应当遵守。
- 若劳动合同未明确约定调岗相关内容，则工厂不能随意调岗，需与您协商一致。
法律法规规定：
- 根据《劳动合同法》等相关法律法规，工厂调岗应当具有合理性，不能损害您的合法权益。例如，不能因您拒绝加班或提出合理诉求而恶意调岗。
二、调岗的合理性判断
工作相关性：
- 调岗后的工作内容应与原岗位具有一定的相关性，不能完全脱离您的专业技能和工作经验。
- 若调岗后的工作内容与原岗位毫无关联，且您无法胜任，那么此次调岗可能缺乏合理性。
薪资福利变化：
- 调岗后，您的薪资、福利等劳动条件不应发生不利变化。若工厂以调岗为由降低您的薪资或取消原有福利，则此次调岗可能不合法。
工作环境与强度：
- 调岗后的工作环境和劳动强度应与原岗位相当或更好。若工厂将您调至环境恶劣、劳动强度大的岗位，且未提供相应的补偿或保护措施，则此次调岗可能不合理。
三、您的权利与应对措施
拒绝不合理调岗：
- 若您认为调岗不合理且无法接受，有权拒绝前往新部门。但建议先与工厂沟通协商，表达您的诉求和理由。
收集证据：
- 在沟通过程中，注意收集相关证据，如调岗通知、劳动合同、工资条等，以备后续维权之需。
申请劳动仲裁：
- 若工厂坚持不合理调岗且侵犯了您的合法权益，您可以向当地劳动仲裁机构申请劳动仲裁，要求工厂恢复原岗位或支付相应的经济补偿。
四、特殊情况处理
工厂以调岗为由逼迫离职：
- 若工厂以调岗为由逼迫您离职，且未提供合法理由和补偿，则可能构成违法解除劳动合同。您可以要求工厂支付赔偿金或继续履行劳动合同。
调岗后无法胜任工作：
- 若调岗后您确实无法胜任工作，且工厂未提供必要的培训或调整岗位，您可以与工厂协商解除劳动合同，并要求支付相应的经济补偿。
建议：在面对工厂调岗时，建议您先保持冷静，仔细分析调岗的合法性和合理性。若认为调岗不合理且无法接受，及时与工厂沟通协商，并收集相关证据以备后续维权。如有需要，可以直接向我咨询，我会根据您的具体情况提供更详细的法律建议。