结论：公司搬迁员工不去而调至其他部门是否合法，需根据具体情况判断，主要看劳动合同的约定、公司搬迁的性质以及调整岗位的合理性等因素。以下从不同角度进行分析：
劳动合同的约定：
- 如果劳动合同中明确约定了工作地点，且公司搬迁导致工作地点发生重大变化，而员工不同意变更工作地点，此时公司单方面将员工调至其他部门可能构成违约。根据《劳动合同法》的相关规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，包括工作地点。若未经协商一致，公司擅自变更，员工有权拒绝并可能要求公司承担违约责任。
公司搬迁的性质：
- 如果公司搬迁是出于生产经营需要，且搬迁后的工作地点与原工作地点相距不远，对员工的生活影响不大，同时公司提供了合理的交通补贴或其他补偿措施，此时公司调整员工岗位可能被视为合理。但即便如此，公司也应与员工进行充分沟通，并尽量取得员工的同意。
- 如果公司搬迁是跨城市或跨省份的，且对员工的生活造成重大影响，如需要员工搬家、子女转学等，此时公司单方面调整员工岗位可能缺乏合理性，员工有权拒绝。
调整岗位的合理性：
- 公司在调整员工岗位时，应确保新岗位与员工原岗位的工作内容、技能要求、薪酬待遇等相当或相近。如果新岗位与原岗位差异较大，且未经员工同意，可能构成对员工权益的侵害。
- 公司还应考虑员工的个人意愿和职业发展规划，避免强制调整导致员工不满或离职。
法律建议：
- 对于员工而言，如果公司搬迁导致工作地点发生重大变化，且未经协商一致就调整岗位，员工可以先与公司进行沟通协商，表达自己的意愿和诉求。如果协商无果，员工可以向当地劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。
- 对于公司而言，在搬迁或调整岗位时，应充分考虑员工的权益和感受，尽量与员工进行充分沟通并取得同意。如果确实需要调整岗位，应确保新岗位的合理性和员工的适应性，避免引发不必要的劳动纠纷。
可能的法律后果：
- 如果公司未经协商一致就擅自调整员工岗位，且新岗位不合理或对员工造成重大影响，员工有权拒绝并可能要求公司承担违约责任或赔偿损失。
- 如果员工因此离职，公司还可能面临支付经济补偿金等法律责任。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。