员工拒绝调岗，用人单位一般不可以直接让其搬离办公室。以下从不同角度为你详细分析：

一、用人单位调岗的合法性基础

1. 劳动合同约定：如果劳动合同中明确约定了用人单位可以根据工作需要调整员工的工作岗位，且该约定不违反法律法规的强制性规定，那么用人单位在符合约定条件的情况下进行调岗，具有一定的合法性。但即便如此，调岗也应遵循合理、公正的原则，不能随意进行。
2. 协商一致：根据《劳动合同法》第三十五条规定，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，包括工作岗位。因此，用人单位若想对员工进行调岗，最稳妥的方式是与员工进行协商，并达成一致意见。

二、员工拒绝调岗的处理方式

1. 不得直接强制搬离办公室：员工拒绝调岗，用人单位不能直接采取强制措施让员工搬离办公室。这种行为可能侵犯员工的合法权益，引发劳动纠纷。用人单位应先与员工进行沟通，了解其拒绝调岗的原因，并尝试通过协商解决问题。
2. 合法解除劳动合同的条件：如果员工拒绝调岗且经用人单位多次沟通后仍不配合，用人单位在符合一定条件下可以解除劳动合同。例如，用人单位的调岗具有合理性（如原岗位因业务调整被撤销、员工不能胜任原岗位工作等），且用人单位已经按照法定程序（如提前通知、支付经济补偿等）进行操作。但这种情况下，用人单位仍需谨慎处理，确保解除劳动合同的行为合法合规。

三、用人单位违法调岗或处理的法律后果

1. 劳动纠纷风险：如果用人单位未经协商一致或未遵循合法程序对员工进行调岗，或采取强制措施让员工搬离办公室，员工有权向劳动仲裁机构或法院提起劳动仲裁或诉讼，要求用人单位承担相应的法律责任。
2. 经济赔偿：在劳动纠纷中，如果用人单位被认定存在违法调岗或处理的行为，可能需要向员工支付经济赔偿。赔偿金额根据员工的实际损失、用人单位的过错程度等因素确定。

四、建议

1. 用人单位：在调岗前应充分评估调岗的合理性和必要性，并与员工进行充分沟通。在调岗过程中应遵循法定程序，确保调岗行为的合法性。
2. 员工：如果拒绝调岗，应与用人单位进行积极沟通，表达自己的合理诉求。同时，员工也应了解自己的合法权益和维权途径，以便在必要时采取法律手段维护自己的权益。

如果你在劳动工伤（劳动仲裁）方面还有其他问题，可以直接向我咨询。