关于部门缩小人员移至其他部门是否可以不去的问题，这主要取决于劳动合同的具体约定以及公司的规章制度，同时需遵循相关法律法规的规定。以下是从不同角度对此问题的详细分析：

1. 劳动合同的约定：

   • 首先，应仔细审查劳动合同中关于工作岗位、工作地点以及调岗的相关条款。如果劳动合同中明确规定了员工必须服从公司的合理调岗安排，那么在部门缩小、人员需要调整的情况下，员工可能需要接受公司的调岗决定。
   • 如果劳动合同中没有明确约定调岗条款，或者调岗条款存在模糊、不明确的情况，那么员工有权与公司就调岗事宜进行协商，并根据协商结果决定是否接受调岗。

2. 公司的规章制度：

   • 除了劳动合同外，公司的规章制度也是判断员工是否需要接受调岗的重要依据。如果公司的规章制度中明确规定了员工在部门缩小等情况下需要接受调岗，并且这些规章制度已经通过合法程序制定并公示给员工，那么员工可能需要遵守这些规定。
   • 如果公司的规章制度中没有相关规定，或者规定与法律法规相冲突，那么这些规定将不具有法律效力，员工有权拒绝不合理的调岗安排。

3. 法律法规的规定：

   • 根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容。变更劳动合同，应当采用书面形式。这意味着，如果公司希望对员工进行调岗，必须与员工进行协商，并达成一致意见。
   • 如果公司未经员工同意，单方面决定对员工进行调岗，并且这种调岗对员工造成了不利影响（如工资降低、工作环境变差等），那么员工有权拒绝这种调岗安排，并可以依法维护自己的合法权益。

4. 实际操作建议：

   • 与公司协商：如果员工对调岗有异议，建议首先与公司进行协商，表达自己的想法和诉求，寻求双方都能接受的解决方案。
   • 了解法律法规：员工应了解自己的合法权益和法律法规的相关规定，以便在协商过程中更好地维护自己的权益。
   • 保留证据：如果员工决定拒绝调岗安排，建议保留好相关证据（如劳动合同、公司规章制度、调岗通知等），以便在必要时依法维权。

总结来说，部门缩小人员移至其他部门是否可以不去，并没有一个绝对的答案。它取决于劳动合同的约定、公司的规章制度以及法律法规的规定。如果员工对调岗有异议，建议首先与公司进行协商，并了解自己的合法权益和法律法规的相关规定。如有需要，可以直接向我咨询相关法律问题，我会为你提供更具体的法律建议。