用人单位调整工作岗位劳动者不愿意时，劳动者有权拒绝，但需根据具体情况判断后续处理方式。以下是具体分析：

1. 若用人单位的调岗行为合法合理
   根据《劳动合同法》第三十五条，用人单位与劳动者协商一致可以变更劳动合同内容，包括工作岗位。若用人单位因生产经营需要、劳动者不胜任工作等合法理由调岗，且调岗具有合理性（如薪资、职级、工作地点无显著不利变化），劳动者拒绝调岗可能被视为违反劳动合同约定。此时用人单位有权依据规章制度处理，甚至解除劳动合同（但需支付经济补偿）。
   建议：劳动者可要求用人单位出具书面调岗通知，明确调岗理由及依据。若认为调岗不合理，可书面提出异议并保留证据，避免直接拒绝导致被动。

2. 若用人单位的调岗行为违法或不合理
   若用人单位未与劳动者协商一致，且调岗缺乏合理性（如恶意调岗、降低薪资、增加劳动强度等），劳动者有权拒绝。根据《劳动合同法》第三十八条，用人单位强迫劳动者从事危险工作或违反法律、行政法规强制性规定的，劳动者可立即解除劳动合同并主张经济补偿。
   建议：劳动者应收集调岗通知、劳动合同、薪资记录等证据，通过书面形式向用人单位提出异议，并明确拒绝调岗。若用人单位因此解除劳动合同，可申请劳动仲裁主张违法解除赔偿金（2N）。

3. 特殊情形下的处理

   • 医疗期或孕期调岗：根据《女职工劳动保护特别规定》，用人单位不得因女职工怀孕、生育、哺乳降低其工资或予以辞退。若劳动者处于医疗期或孕期，用人单位单方调岗需经劳动者同意，否则可能构成违法。
     
   • 客观情况重大变化：若因企业搬迁、部门撤销等客观情况导致原岗位消失，用人单位可与劳动者协商调岗或解除劳动合同（需支付经济补偿）。若协商不成，用人单位不得强制调岗。

总结：劳动者面对调岗时，应首先判断调岗的合法性与合理性，再决定是否接受。若认为调岗违法或不合理，可通过书面异议、协商、劳动仲裁等途径维护权益。具体操作需结合个案证据和当地司法实践，如有疑问可直接向我咨询。