工厂擅自调离岗位的赔偿问题，需根据具体情况判断，核心在于工厂调岗是否合法合理，若不合法合理，劳动者可主张相应赔偿或权益。具体分析如下：

1. 若工厂调岗不合法合理，劳动者可拒绝并主张经济补偿
   根据《劳动合同法》第三十五条，用人单位与劳动者协商一致方可变更劳动合同内容（包括岗位）。若工厂未经劳动者同意单方面调岗，且调岗不具有合理性（如调岗后薪资大幅降低、工作条件显著恶化、与原岗位无关联性等），劳动者有权拒绝。此时，若工厂以劳动者不服从调岗为由解除劳动合同，属于违法解除，劳动者可依据《劳动合同法》第四十八条、第八十七条，主张按经济补偿标准的二倍支付赔偿金（经济补偿按工作年限计算，每满一年支付一个月工资）。

2. 若工厂调岗合法合理，劳动者需服从安排，否则可能承担不利后果
   若工厂因生产经营需要（如部门撤销、岗位合并等）调整岗位，且调岗具有合理性（如薪资水平相当、工作条件无显著变化、劳动者具备新岗位技能等），劳动者应服从安排。若劳动者无正当理由拒绝，工厂可依据规章制度（如旷工规定）解除劳动合同，此时劳动者可能无法获得赔偿，甚至需承担违约责任（如违反服务期约定或竞业限制协议时）。

3. 劳动者可主张的其他权益

   • 要求工厂出具书面调岗通知：若工厂口头调岗，劳动者可要求出具书面文件，以便固定证据。
     
   • 申请劳动仲裁：若与工厂协商无果，劳动者可在知道权益被侵害之日起一年内申请劳动仲裁，主张继续履行原合同、支付违法解除赔偿金或要求工厂恢复原岗位。
     
   • 保留证据：包括劳动合同、工资条、调岗通知、沟通记录（如微信、邮件）等，以证明工厂单方面调岗的事实及不合理性。

建议行动步骤：

1. 核实工厂调岗的合法性（如是否协商、是否合理）；
   
2. 与工厂沟通，明确拒绝非法调岗并要求书面说明；
   
3. 若工厂坚持违法调岗或解除合同，及时收集证据并申请劳动仲裁。
   

如有进一步疑问或需具体指导，可直接向我咨询。