工厂无正当理由拒绝换岗时，您可以通过协商、内部申诉、劳动仲裁或诉讼等途径维护权益，具体需结合劳动合同、工厂规章制度及实际情况判断。以下是详细分析：

1. 核查劳动合同与工厂制度
   首先需确认劳动合同中是否明确约定了岗位调整条款（如“工厂可根据经营需要调整岗位”）。若合同无约定或约定模糊，工厂单方面拒绝换岗可能缺乏法律依据；若合同明确赋予工厂调岗权，则需进一步审查调岗是否合理（如是否降低薪资、改变工作地点、增加劳动强度等）。若调岗不合理，您仍有权拒绝。
   同时，检查工厂规章制度中是否有关于岗位调整的具体规定（如调岗流程、条件等）。若制度未经民主程序制定或未公示，可能对您不产生约束力。

2. 与工厂协商或提出内部申诉
   若合同或制度未明确限制换岗，或工厂拒绝换岗的理由不充分（如仅以“岗位不缺人”为由），建议您先与工厂协商，明确换岗需求（如健康原因、职业发展等）并提供相关证明（如医生诊断书、技能证书等）。若协商无果，可依据工厂内部申诉机制（如工会、职工代表大会）提出书面申诉，要求工厂重新考虑。

3. 向劳动监察部门投诉或申请劳动仲裁
   若工厂仍拒绝换岗且调岗行为违法（如未协商一致强制调岗、调岗后薪资大幅降低等），您可向当地劳动监察大队投诉，要求工厂纠正违法行为；或直接向劳动争议仲裁委员会申请仲裁，主张工厂履行换岗义务或赔偿损失（如因拒绝换岗导致的工资损失）。仲裁时需提供劳动合同、调岗通知、协商记录等证据。

4. 特殊情况下的处理

   • 医疗期或孕期调岗：若您因患病或怀孕需调岗，工厂应根据医疗机构证明安排合适岗位，不得拒绝；
     
   • 职业病危害岗位调岗：若原岗位存在职业病危害且您已确诊职业病，工厂必须调岗并承担相关费用；
     
   • 工厂违法调岗：若工厂以调岗为名变相逼迫离职（如调至偏远地区、降低薪资至无法生活），您可主张工厂支付经济补偿金并解除劳动合同。

行动建议：

1. 收集证据（劳动合同、调岗通知、协商记录、医疗证明等）；
   
2. 优先与工厂协商或通过内部渠道申诉；
   
3. 若协商无果，及时向劳动监察部门投诉或申请仲裁；
   
4. 涉及复杂情况（如职业病、孕期调岗）时，建议同步咨询专业法律意见。
   

如有进一步疑问或需具体指导，可直接向我提问。