建议先不要直接去待岗，但需分情况谨慎处理，具体分析如下：

1. 用工单位口头通知退回的效力问题
   根据《劳动合同法》及相关规定，用工单位退回劳务派遣员工应当有合法依据（如客观情况重大变化、员工严重违纪等），且退回通知原则上需以书面形式作出。口头通知存在举证困难，若用工单位无法提供书面证据，可能被认定为违法退回。此时您有权要求用工单位出具书面说明，或向劳务派遣公司核实退回的合法性。

2. 劳务派遣公司通知待岗的合法性审查
   待岗安排需满足两个条件：

   • 必要性：需因生产经营困难、停工停产等客观原因导致无法提供工作岗位；
     
   • 程序合规性：需与员工协商一致，或依据劳动合同、集体合同、规章制度中的明确约定执行。
     若派遣公司未与您协商，也未提供待岗的合法依据（如政府停工令、企业破产重整文件等），则待岗安排可能违法，您有权拒绝。

3. 您的权利与应对策略

   • 要求书面材料：向用工单位和派遣公司同时发函，要求出具书面退回通知、待岗决定及依据；
     
   • 核实退回原因：若用工单位以“客观情况重大变化”为由退回，需核实是否符合《劳动合同法》第40条第3项（如企业搬迁、撤销部门等）；
     
   • 主张工资支付：若待岗违法，您可要求派遣公司按原工资标准支付工资；若待岗合法但未协商一致，您可主张待岗期间工资不低于当地最低工资标准的80%；
     
   • 考虑解除合同：若派遣公司长期违法待岗且拒不改正，您可依据《劳动合同法》第38条以“未提供劳动条件”为由解除合同，并主张经济补偿。

4. 风险提示

   • 若直接拒绝待岗且未采取上述措施，可能被认定为旷工，存在被派遣公司以“严重违纪”解除合同的风险；
     
   • 若接受待岗但未保留证据，后续主张工资或补偿时可能面临举证困难。

建议行动步骤：

1. 立即书面要求用工单位和派遣公司出具退回、待岗的书面文件及依据；
   
2. 核实退回原因是否合法，若存在争议可向当地劳动监察大队投诉；
   
3. 咨询专业律师（即我本人）协助审查材料、制定谈判策略或提起劳动仲裁。
   

如有进一步材料或疑问，欢迎随时向我提供细节，我将为您详细分析。