劳动者在面临单位要求调换部门时，有权基于劳动合同约定和岗位调整的合理性进行考量，并作出是否接受调岗的决定。以下是对此问题的详细分析：
可以拒绝调岗的情况
未经协商一致的单方面调岗：
- 根据《劳动合同法》第三十五条，用人单位与劳动者协商一致，可以变更劳动合同约定的内容，包括工作岗位。若用人单位未与劳动者协商，擅自变更工作岗位，劳动者有权拒绝。
调岗具有不合理性：
- 如调岗对劳动报酬产生大幅不利影响，或工作环境和条件明显变差，超出劳动者可承受范围，且未提供相应防护措施和合理补偿。
- 调岗严重影响劳动者的职业发展规划，如将技术型岗位调至非技术型岗位，且无正当理由。
违反劳动合同明确约定的调岗：
- 若劳动合同中已明确岗位及调动事宜，但用人单位未按约定执行，劳动者有权依据合同拒绝调岗。
可能无法拒绝调岗的情况
基于法定情形的调岗：
- 劳动者不能胜任工作，经过培训或调整工作岗位仍不能胜任，用人单位有权依据《劳动合同法》第四十条进行调岗。
- 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，且经用人单位与劳动者协商未能就变更劳动合同内容达成协议，用人单位可依法进行调岗。
合理合法的生产经营需要调岗：
- 若劳动合同中无明确岗位调动约定或约定不明，且用人单位是基于生产经营需要进行合理合法的调岗，并与劳动者进行了充分协商，劳动者一般应当服从安排。
操作建议
- 劳动者在面对调岗时，应首先查看劳动合同中关于岗位调动的约定，了解自己的权利和义务。
- 若认为调岗存在不合理性或违法性，应及时与用人单位沟通协商，并保留好相关证据，如书面拒绝调岗的通知、与用人单位的沟通记录等。
- 若协商无果，劳动者可向当地劳动监察部门投诉举报，或申请劳动仲裁以维护自己的合法权益。
综上所述，劳动者在面临单位要求调换部门时，应根据具体情况判断自己是否有权拒绝，并采取相应的应对措施以维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。