工厂搬迁导致员工不愿随迁时，劳动合同的处理方式需根据具体情况确定，核心原则是依法保障员工权益并明确企业责任。以下分情况说明：

1. 若工厂搬迁属于劳动合同订立时所依据的客观情况发生重大变化
   根据《劳动合同法》第40条，若搬迁导致原劳动合同无法履行（如跨市搬迁、通勤成本显著增加等），企业需与员工协商变更劳动合同内容（如调整工作地点、提供交通补贴等）。若协商不成，企业可提前30日书面通知或支付代通知金后解除合同，并依法支付经济补偿（按工作年限，每满1年支付1个月工资）。

2. 若工厂搬迁未导致劳动合同无法履行（如同城搬迁且通勤合理）
   员工拒绝随迁可能被视为“不服从工作安排”，企业需谨慎处理：

   • 不得直接解除合同：若搬迁未实质影响合同履行（如原劳动合同未明确约定工作地点为“原厂址”），企业无权单方解除合同，否则可能构成违法解除，需支付赔偿金（经济补偿的2倍）。
     
   • 可协商解除合同：企业可与员工协商解除合同，并依法支付经济补偿。
     
   • 员工主动辞职：若员工因个人原因主动辞职，企业无需支付经济补偿，但需注意避免“变相逼迫辞职”的风险（如停发工资、取消福利等）。

3. 若工厂搬迁属于企业自主经营权范畴（如同城内优化布局）
   企业需提前告知员工搬迁计划，并尽量提供便利条件（如班车、补贴等）。若员工仍拒绝随迁，企业可依据规章制度处理，但需确保规章制度合法有效（如经民主程序制定、已公示等）。若员工行为严重违反规章制度，企业可依法解除合同，但需承担举证责任。

建议企业采取以下措施降低风险：

• 提前沟通：搬迁前与员工充分沟通，说明搬迁原因、补偿方案及后续安排，争取员工理解。
  
• 完善合同：在劳动合同中明确工作地点为“XX市”或“XX区域”，避免约定过窄导致无法调整。
  
• 依法补偿：若需解除合同，确保经济补偿计算准确、支付及时，避免纠纷。
  
• 保留证据：保存搬迁通知、协商记录、规章制度等证据，以备争议时使用。

若员工对处理结果有异议，可通过劳动仲裁或诉讼维权。企业需严格遵守法律规定，避免因操作不当引发法律风险。如有具体问题，可进一步向我咨询。