单位经理是否有权调动人员离开本部门工作，这并非一个简单的是非问题，而是需要根据具体情况来判断。以下是从不同角度进行的分析：
劳动合同与岗位约定：
- 首先，要查看员工与单位签订的劳动合同中，是否明确约定了员工的工作岗位、工作地点以及调动条款。如果合同中有明确的调动条款，且该条款不违反法律法规的强制性规定，那么单位经理在符合合同约定的情况下，是有权调动员工的。
- 如果合同中没有明确约定调动条款，或者调动条款模糊不清，那么单位经理的调动行为就可能缺乏合同依据，员工有权拒绝不合理的调动。
单位规章制度：
- 除了劳动合同外，单位的规章制度也是判断调动行为是否合法的重要依据。如果单位的规章制度中明确规定了员工调动的程序、条件以及权限，且该规章制度已经通过合法程序制定并公示，那么单位经理在遵守规章制度的前提下，是有权进行调动的。
- 如果规章制度中没有相关规定，或者调动行为违反了规章制度的程序或条件，那么员工同样有权拒绝调动。
调动行为的合理性：
- 即使劳动合同和规章制度中都有关于调动的规定，单位经理的调动行为也必须具有合理性。合理性通常包括调动目的的正当性、调动对员工的影响程度以及单位是否提供了必要的补偿或协助等因素。
- 如果调动行为明显不合理，如将员工调动到与其专业技能完全不相关的岗位，或者调动导致员工生活、工作受到极大影响且单位未提供必要补偿，那么员工有权拒绝调动，并可能因此寻求法律救济。
特殊情况下的调动：
- 在某些特殊情况下，如单位面临重大经营困难、需要紧急调整人员结构以应对市场变化等，单位经理可能需要在更短的通知期内或更灵活的条件下进行调动。但即便如此，也必须确保调动行为的合法性和合理性，并尽可能与员工进行协商和沟通。
建议：
- 对于员工而言，如果面临不合理的调动行为，首先应当查看劳动合同和单位规章制度中关于调动的规定，并评估调动行为的合理性。如果认为调动行为违法或不合理，可以与单位经理进行沟通协商，或者向单位的劳动争议调解委员会申请调解。如果调解无果，还可以向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。
- 对于单位经理而言，在进行人员调动时，应当确保调动行为符合劳动合同和单位规章制度的规定，并尽可能考虑员工的合理诉求和利益。通过充分的沟通和协商，可以减少劳动争议的发生，维护单位的和谐稳定。
总结：单位经理是否有权调动人员离开本部门工作，取决于劳动合同、单位规章制度以及调动行为的合理性等多个因素。在面临调动问题时，建议员工和单位经理都保持冷静和理性，通过合法途径解决争议。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。