用工方仅口头退回被派遣员工时，员工可采取以下措施维护自身权益：

1. 要求用工方出具书面退回通知
   根据《劳动合同法》第六十五条及《劳务派遣暂行规定》第十二条，用工方退回被派遣劳动者需基于法定情形（如劳动者不能胜任工作、客观情况重大变化等），且通常应出具书面说明。口头退回缺乏法律效力，员工有权要求用工方以书面形式明确退回理由、依据及生效时间。若用工方拒绝，可向劳务派遣单位说明情况，要求派遣单位协调处理。

2. 劳务派遣单位需重新安排工作或支付补偿
   若用工方无正当理由退回员工，劳务派遣单位不得随意解除劳动合同。根据《劳务派遣暂行规定》第十五条，派遣单位应为员工重新安排适合的岗位；若无法安排，需按当地规定支付经济补偿（如工作每满1年支付1个月工资）。若派遣单位违法解除合同，员工可主张赔偿金（经济补偿标准的2倍）。

3. 收集证据并申请劳动仲裁
   若用工方与派遣单位互相推诿，员工应尽快收集证据（如工作记录、考勤、工资流水、口头退回的录音或证人证言等），向当地劳动争议仲裁委员会申请仲裁，要求确认用工方退回行为违法，并主张继续履行合同、支付工资差额或赔偿金。仲裁时效为1年，自知道权益受损之日起计算。

4. 特殊情形下的处理

   • 用工方违法退回：若用工方退回理由不成立（如未提供培训或调岗直接以“不能胜任”为由退回），员工可同时要求用工方与派遣单位承担连带赔偿责任。
     
   • 派遣单位违法解除：若派遣单位以“用工方退回”为由直接解除合同，员工可主张违法解除赔偿金，并要求派遣单位出具书面解除通知。
     

行动建议：

• 立即与劳务派遣单位沟通，要求书面确认用工方退回事实及后续安排；
  
• 若派遣单位未积极处理，向当地劳动监察部门投诉或直接申请劳动仲裁；
  
• 保留所有与工作、退回相关的证据，避免因证据缺失影响维权。
  

如有进一步细节（如退回理由、合同期限等），可向我补充说明，我会为您分析具体应对方案。