用工单位违法退回劳动者至劳务公司的，劳动者可依法要求用工单位或劳务公司承担相应法律责任，具体处理方式需结合违法情形及损害后果综合判断。以下分情况说明：

1. 若违法退回行为直接损害劳动者权益（如违法解除劳动关系）

• 责任主体：用工单位与劳务公司可能承担连带赔偿责任。根据《劳动合同法》第九十二条，劳务派遣单位（劳务公司）违法给劳动者造成损害的，用工单位与劳务派遣单位承担连带赔偿责任；若用工单位违法退回导致劳务公司违法解除劳动合同（如未依法支付经济补偿），劳动者可同时主张两者赔偿。
• 处理方式：
  • 协商：劳动者可先与用工单位、劳务公司协商，要求恢复劳动关系或支付赔偿金（如违法解除赔偿金为2N倍月工资）。
  • 投诉/仲裁：向劳动监察部门投诉或申请劳动仲裁，主张违法解除赔偿金、未休年假工资、加班费等权益。
  • 证据要求：需证明退回行为违法（如用工单位无合法理由退回、未履行法定程序）及损害结果（如劳务公司据此解除合同）。

2. 若违法退回未导致劳动合同解除，但损害劳动者其他权益（如工资、社保）

• 责任主体：劳务公司作为用人单位，仍需承担直接责任；用工单位可能因违法退回行为承担补充责任。
• 处理方式：
  • 要求劳务公司履行义务：如补发工资、补缴社保、安排工作等。
  • 追究用工单位责任：若劳务公司拒不履行，劳动者可主张用工单位因违法退回导致其权益受损，要求用工单位赔偿实际损失（如工资差额、社保损失）。
  • 典型情形：用工单位以“劳动者不胜任工作”为由退回，但未提供考核证据或未进行培训，导致劳务公司停发工资。

3. 若劳务公司与用工单位互相推诿责任

• 法律路径：劳动者可同时起诉劳务公司（用人单位）和用工单位（实际用工方），要求两者承担连带责任或按过错比例分担责任。
• 关键点：需证明两者存在共同过错（如用工单位违法退回与劳务公司违法解除存在因果关系）。

4. 劳动者维权步骤建议

1. 收集证据：包括劳务派遣协议、退回通知、劳动合同、工资记录、沟通记录等，证明违法退回事实及损害后果。
2. 协商/投诉：优先通过协商或向劳动监察部门投诉快速解决。
3. 申请仲裁：若协商无果，向劳务公司所在地或合同履行地的劳动仲裁委申请仲裁，主张赔偿或继续履行合同。
4. 诉讼：对仲裁结果不服的，可向法院提起诉讼。

提示：劳务派遣中，用工单位与劳务公司的责任划分需结合具体违法情形判断。若您遇到此类问题，可直接向我咨询，我会根据您的证据和细节进一步分析责任主体及维权策略。