用工单位不给书面退回时，劳动者可采取以下措施维护自身权益：

1. 明确退回的法律依据与事实基础
   首先需确认用工单位“退回”行为的性质。若涉及劳务派遣中的退回（如《劳务派遣暂行规定》第十二条规定的情形），用工单位需基于客观事实（如劳动者不胜任工作、客观情况重大变化等）并履行法定程序（如培训、调岗等前置程序）才能退回。若用工单位无正当理由拒绝出具书面退回通知，可能涉嫌违法退回。此时劳动者可要求用工单位书面说明退回理由，并保留沟通记录（如邮件、短信、录音等）作为证据。

2. 向劳务派遣单位主张权利
   根据《劳动合同法》第五十八条，劳务派遣单位是劳动者的用人单位，需承担用人单位的法定义务。若用工单位未出具书面退回通知，劳务派遣单位可能以“不知情”为由拒绝处理劳动关系。此时劳动者应：

   • 书面要求派遣单位确认劳动关系状态：通过EMS邮寄《要求确认劳动关系状态函》，明确要求派遣单位说明是否继续履行劳动合同、是否安排新岗位等；
     
   • 主张违法解除赔偿（如适用）：若派遣单位因用工单位未书面退回而直接解除劳动合同，可能构成违法解除，劳动者可依据《劳动合同法》第八十七条要求支付赔偿金（2N倍月工资）。

3. 通过劳动监察或仲裁程序维权

   • 向劳动监察部门投诉：若用工单位拒不出具书面退回且派遣单位推诿，劳动者可向用工单位所在地的劳动监察大队投诉，要求责令用工单位出具书面材料或纠正违法行为；
     
   • 申请劳动仲裁：若争议无法协商解决，劳动者可申请仲裁，主张：
     
     • 确认用工单位退回行为违法；
       
     • 要求派遣单位继续履行劳动合同或支付违法解除赔偿金；
       
     • 若因无书面退回导致社保断缴、工资停发等损失，可一并主张赔偿。

4. 特殊情形下的应对策略

   • 若涉及“假外包、真派遣”：部分企业以“外包”名义行劳务派遣之实，此时实际用工单位可能规避书面退回义务。劳动者可收集工作管理、薪资发放等证据，证明实际劳动关系归属，直接向实际用工单位主张权利；
     
   • 若退回后派遣单位未安排工作：根据《劳务派遣暂行规定》第十七条，派遣单位需在劳动者无工作期间按不低于当地最低工资标准支付报酬。若未支付，劳动者可主张工资差额及经济补偿。

行动建议：

• 立即收集与用工单位、派遣单位的沟通记录、工资发放证明、工作证等证据；
  
• 书面要求派遣单位出具《劳动关系状态说明》，并保留邮寄凭证；
  
• 根据争议紧急程度，优先选择劳动监察投诉（效率较高）或直接申请仲裁（更具强制力）。
  

如有进一步细节（如退回理由、是否签订书面合同等），可向我补充说明，我会为您分析具体维权路径。