结论：工厂调动部门或去外厂区，您是否可以拒绝，这主要取决于调动是否合法合理以及劳动合同中的相关约定。以下从不同角度为您详细分析：

1. 劳动合同约定：

   • 如果您的劳动合同中明确约定了工作地点、岗位等内容，且调动违反了这些约定，那么您有权拒绝调动。因为劳动合同是双方自愿达成的协议，具有法律约束力，任何一方都不得随意变更。

2. 调动合法性：

   • 工厂调动您的工作部门或外派至其他厂区，必须基于合法合理的理由，如生产经营需要、组织架构调整等。如果调动缺乏合法合理的依据，或者调动后您的劳动条件、薪酬待遇等发生显著不利变化，您有权拒绝。
   • 此外，如果调动涉及到您的工作岗位、工作内容等实质性变更，且未与您协商一致，您同样可以拒绝。因为根据《劳动合同法》的相关规定，用人单位变更劳动合同内容，应当与劳动者协商一致，并采用书面形式。

3. 特殊情况下的调动：

   • 在某些特殊情况下，如工厂面临重大经营困难、自然灾害等不可抗力因素，需要紧急调动员工以应对危机，此时您可能需要配合工厂的调动安排。但即便如此，工厂也应尽量保障您的合法权益，如提供必要的补偿、安排合理的交通和住宿等。

4. 拒绝调动的法律后果：

   • 如果您拒绝合法的调动安排，工厂可能会依据规章制度对您进行纪律处分，甚至解除劳动合同。但在此之前，工厂必须确保调动安排的合法性和合理性，并履行了与您的协商程序。
   • 如果您认为工厂的调动安排违法或不合理，您可以通过劳动仲裁等法律途径维护自己的权益。在劳动仲裁过程中，您需要提供充分的证据证明工厂的调动安排违法或不合理，以及您因此遭受的损失。

建议：

• 在面对工厂的调动安排时，您首先应仔细审查劳动合同中的相关约定，了解自己的权利和义务。
• 如果调动安排违反了劳动合同约定或缺乏合法合理的依据，您可以与工厂进行协商，表达自己的意见和诉求。
• 如果协商无果，您可以考虑向劳动仲裁机构申请劳动仲裁，以维护自己的合法权益。在此过程中，建议您咨询专业律师的意见，以便更好地应对法律纠纷。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。