这种情况可能涉及多个法律和实务层面的因素，需要分情况讨论：

1. 劳动合同或派遣协议的约定
   如果您的劳动合同或与劳务派遣公司签订的协议中明确约定了“返工义务”（例如因产品质量问题需配合返工），且返工地点在合理范围内（如同城市或相邻区域），用人单位的行为可能具有合法性。但需注意：

   • 返工期间的工作时间、劳动报酬、交通补贴等是否按原合同执行；
     
   • 若返工导致通勤时间显著增加（如超过1小时），可能涉及《劳动合同法》中“劳动条件变更”的协商义务，用人单位需与您协商一致。

2. 用人单位单方面调岗的合法性
   若劳动合同未约定返工条款，用人单位直接安排您到其他工厂返工可能构成单方面变更劳动合同。根据《劳动合同法》第35条，变更劳动合同需双方协商一致并书面确认。此时您有权拒绝，但需注意：

   • 若用人单位以“不服从安排”为由解除合同，可能构成违法解除，您可主张2N赔偿金；
     
   • 若返工是临时性、短期性的（如1-2天），且未显著增加劳动强度，司法实践中可能被认定为“合理工作安排”，拒绝可能面临纪律处分。

3. 产品质量责任的划分
   若返工是因您个人操作失误导致产品不合格，用人单位可能依据内部规章制度要求您返工或承担部分损失。但需注意：

   • 规章制度需经民主程序制定并公示，否则对您无约束力；
     
   • 损失赔偿金额不得超过您当月工资的20%，且需扣除社保后计算（《工资支付暂行规定》第16条）。

4. 劳务派遣中的特殊情形
   若您是劳务派遣工，实际用工单位（接收返工的工厂）与派遣单位（原厂）需共同承担责任。根据《劳务派遣暂行规定》第9条，用工单位不得将被派遣劳动者再派遣到其他用人单位，否则您可向劳动监察部门投诉。

建议行动步骤：

1. 核查合同条款：重点查看“工作内容”“工作地点”“调岗条件”等条款；
   
2. 收集证据：保留返工通知、考勤记录、工资条等材料；
   
3. 协商沟通：以书面形式向用人单位提出异议，明确拒绝单方面调岗；
   
4. 投诉或仲裁：若协商无果，可向当地劳动监察大队投诉或申请劳动仲裁。
   

温馨提示：劳动争议案件中，证据的完整性和时效性至关重要。若您对具体操作流程或证据收集有疑问，可直接向我咨询，我会结合您的实际情况提供详细方案。