当用人单位（这里主要指用工单位）退回被派遣劳动者至劳务派遣单位时，若此行为存在违法情形，将涉及一系列法律后果和处理流程。以下是对此问题的详细解答：

一、违法退回的情形

用工单位在退回被派遣劳动者时，必须遵循《中华人民共和国劳动合同法》及《劳务派遣暂行规定》等相关法律法规。若用工单位在无合法依据的情况下退回劳动者，如案例中某公司因秦某拒绝接受移交的部分工作便将其退回，且提供的证据未能形成完整、有效的证据链，这种退回行为就可能被视为违法。

二、违法退回的法律后果

1. 对劳务派遣单位的影响：

   • 劳务派遣单位若仅依据用工单位的违法退回理由便解除与劳动者的劳动合同，将构成违法解除，需支付经济赔偿金。如案例中，某劳务公司因某公司的违法退回而解除与秦某的劳动合同，被法院判决支付经济赔偿金。

2. 对用工单位的影响：

   • 用工单位违法退回劳动者，将由劳动行政部门责令限期改正。
   • 若逾期不改正，用工单位将面临每人5000元以上1万元以下的罚款。
   • 若用工单位的违法退回行为给被派遣劳动者造成损害，劳务派遣单位与用工单位需承担连带赔偿责任。

三、处理流程

1. 劳动者维权：

   • 劳动者在遭遇违法退回时，应首先收集相关证据，如劳动合同、派遣协议、退回通知、沟通记录等。
   • 劳动者可以向劳动仲裁机构申请劳动仲裁，要求确认用工单位的退回行为违法，并要求劳务派遣单位支付经济赔偿金或恢复劳动关系。
   • 若对劳动仲裁结果不服，劳动者还可以向人民法院提起诉讼。

2. 劳动行政部门介入：

   • 劳动行政部门在接到劳动者的投诉或举报后，将进行调查核实。
   • 若确认用工单位存在违法退回行为，劳动行政部门将责令其限期改正，并可能处以罚款。

3. 劳务派遣单位的应对：

   • 劳务派遣单位在接到用工单位的退回通知后，应仔细审查退回理由是否合法合规。
   • 若认为退回理由不成立，劳务派遣单位应拒绝接受退回，并与用工单位进行沟通协商。
   • 若协商无果，劳务派遣单位可以寻求法律途径解决争议。

四、建议与预防

1. 用工单位：

   • 应建立健全内部管理制度，明确退回劳动者的合法依据和程序。
   • 在退回劳动者前，应充分沟通并收集相关证据，确保退回行为的合法性和合理性。

2. 劳务派遣单位：

   • 应加强对用工单位的监督和管理，确保用工单位遵守相关法律法规。
   • 在接到退回通知后，应认真审查并依法处理，维护劳动者的合法权益。

3. 劳动者：

   • 应增强法律意识，了解自己的权益和义务。
   • 在遭遇违法退回时，应勇敢维权，及时收集证据并寻求法律帮助。

综上所述，用人单位（用工单位）违法退回被派遣劳动者将面临严重的法律后果。因此，各方应严格遵守相关法律法规，确保劳务派遣关系的合法性和稳定性。