用工单位因搬迁退回被派遣人员，是否需要提前通知，需分情况讨论：

1. 若劳动合同或派遣协议中有明确约定
   若用工单位与劳务派遣单位签订的《劳务派遣协议》或与被派遣劳动者签订的劳动合同中，明确约定了“因用工单位搬迁等客观情况发生重大变化时，用工单位需提前X日通知劳务派遣单位或劳动者”的条款，则用工单位应严格按约定履行通知义务。
   法律依据：根据《民法典》第509条，当事人应按约定全面履行义务；若未履行，可能构成违约，需承担继续履行、赔偿损失等责任。

2. 若劳动合同或派遣协议中无明确约定
   此时需分两步判断：

   • 第一步：判断搬迁是否构成“客观情况发生重大变化”
     根据《劳动合同法》第40条，“劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行”，用工单位可与劳动者协商变更劳动合同内容；协商不成时，可提前30日书面通知劳动者或额外支付1个月工资后解除劳动合同。
     搬迁是否属于“重大变化”：需结合搬迁距离、对劳动者通勤、生活的影响程度综合判断。例如，跨市搬迁或导致通勤时间增加2小时以上的，通常会被认定为重大变化；而同一城市内搬迁且通勤时间变化不大的，可能不构成。
     
   • 第二步：用工单位能否直接退回被派遣劳动者
     根据《劳务派遣暂行规定》第12条，用工单位因客观情况重大变化退回被派遣劳动者的，需向劳务派遣单位说明情况，并配合办理相关手续，但法律未明确要求用工单位直接通知劳动者。不过，从减少纠纷的角度，建议用工单位同步告知劳动者退回原因及后续安排（如劳务派遣单位将重新安排工作或解除合同）。
     例外情形：若劳务派遣单位与劳动者的劳动合同中约定“用工单位退回即视为劳动合同解除条件成就”，则用工单位退回时，劳务派遣单位需按约定处理；但此类条款可能因排除劳动者权利被认定无效，需谨慎设置。

3. 未提前通知的法律后果

   • 若因未通知导致劳动者损失（如未及时找到新工作、额外通勤成本等），劳动者可能依据《民法典》第577条要求用工单位或劳务派遣单位赔偿实际损失。
     
   • 若用工单位未与劳务派遣单位协商即擅自退回，可能违反《劳务派遣暂行规定》第12条，劳务派遣单位有权要求用工单位改正；造成损害的，还需承担赔偿责任。

建议：

• 用工单位应在搬迁前与劳务派遣单位、劳动者充分沟通，明确通知义务及后续安排；
  
• 劳务派遣单位需及时与劳动者协商变更劳动合同（如调整工作地点、岗位）或解除合同（依法支付经济补偿）；
  
• 劳动者若认为权益受损，可向当地劳动监察部门投诉或申请劳动仲裁。
  

如有具体案件细节（如搬迁距离、合同条款等），可进一步向我咨询，我会结合实际情况为您详细分析。