被退回劳务公司，对劳动者而言可能存在以下不利影响：

1. 收入中断风险
   劳务派遣中，劳动者与用工单位不存在直接劳动关系，若被退回劳务公司，用工单位无需继续支付工资。此时劳务公司可能仅按当地最低工资标准发放生活费（如《劳务派遣暂行规定》第十二条），甚至可能因未及时安排新岗位导致收入完全中断。例如，某劳动者被用工单位以“业务调整”为由退回后，劳务公司未在1个月内安排新工作，导致其连续3个月仅领取最低工资，生活压力骤增。

2. 劳动关系稳定性下降
   劳务公司可能以“客观情况发生重大变化”为由解除劳动合同（如《劳动合同法》第四十条第三项），此时劳动者虽可主张经济补偿（N个月工资），但若劳务公司未依法支付或劳动者不愿接受补偿，可能陷入劳动仲裁程序，增加维权成本。例如，某劳务公司以“用工单位减少派遣需求”为由解除合同，但未提前30日通知劳动者，最终被仲裁委裁决支付赔偿金（2N个月工资）。

3. 再就业难度增加
   被退回可能被新用工单位视为“能力不足”或“存在纠纷”的信号，影响后续派遣机会。尤其若退回原因涉及劳动者过错（如严重违反用工单位规章制度），劳务公司可能将其列入“黑名单”，导致长期失业风险。例如，某劳动者因与用工单位员工冲突被退回后，劳务公司拒绝为其推荐新岗位，并暗示“其他单位也不会接收”，导致其被迫转行。

4. 社保与福利中断风险
   退回期间，若劳务公司未及时为劳动者缴纳社保或停缴公积金，可能影响其医疗、养老等权益。例如，某劳动者被退回后，劳务公司未缴纳当月社保，导致其住院费用无法报销，最终通过劳动监察部门投诉才追回损失。

应对建议：

• 要求劳务公司出具书面退回通知，明确退回原因及依据（如用工单位规章制度条款），为后续维权保留证据。
  
• 主动与劳务公司协商，要求其按原工资标准支付等待期工资，或尽快安排新岗位。若协商无果，可向当地劳动监察部门投诉。
  
• 若被违法解除合同，可申请劳动仲裁，主张赔偿金（2N个月工资）及未休年假工资等权益。
  
• 关注社保缴纳情况，若劳务公司停缴，可要求其补缴或向社保部门举报，避免权益受损。

法律依据：

• 《劳务派遣暂行规定》第十二条：被派遣劳动者退回后在无工作期间，劳务派遣单位应当按照不低于所在地人民政府规定的最低工资标准，向其按月支付报酬。
  
• 《劳动合同法》第四十条、第四十六条：用人单位以“客观情况发生重大变化”为由解除合同的，需支付经济补偿；若未提前30日通知，需额外支付1个月工资（代通知金）。
  

如有具体纠纷或需要进一步分析，可直接向我咨询，我会结合您的实际情况提供详细方案。