劳务派遣退回的法律责任需根据退回原因、退回程序及后续处理综合判断，核心在于是否符合法定条件、是否履行法定程序，以及是否损害劳动者合法权益。以下从不同角度详细分析：

一、法定退回条件下的法律责任

若用工单位因法定理由退回劳动者（如劳动者存在过错、非因本人过错导致无法继续工作等），且退回程序合法（如已履行通知义务、提供证明材料等），则用工单位通常不承担法律责任。但需注意：

• 劳动者存在过错情形：如严重违反规章制度、严重失职等，用工单位需提供充分证据证明劳动者存在过错，否则可能面临违法退回的风险。
• 非因本人过错的客观情况：如劳动者患病或非因工负伤、不能胜任工作等，用工单位需在退回前为劳动者提供必要的医疗期、培训或调整岗位等，否则可能构成违法退回。

法律后果：若用工单位合法退回，劳务派遣单位需根据劳动者情况重新派遣或解除劳动合同。若劳务派遣单位违法解除，需支付赔偿金（按经济补偿标准的二倍支付）。

二、约定退回条件下的法律责任

若劳务派遣单位与用工单位在劳务派遣协议中约定了退回条件，且该条件不违反法律法规的强制性规定，则用工单位可按约定退回劳动者。但需注意：

• 约定条件需明确、具体、可操作：如约定“劳动者连续旷工三天可退回”，则需明确旷工的定义、计算方式等。
• 不得违反法定禁止性规定：如不得约定“女职工怀孕即退回”等违反法律规定的条款。

法律后果：若用工单位按约定合法退回，劳务派遣单位需按约定处理与劳动者的劳动关系。若约定违法或未履行约定程序，则可能承担违法退回的法律责任。

三、违法退回下的法律责任

若用工单位违法退回劳动者（如无合法理由、未履行法定程序等），则需承担连带赔偿责任。具体包括：

• 赔偿劳动者损失：如工资、社保、经济补偿等。
• 可能面临行政处罚：如劳动行政部门可责令改正、处以罚款等。

典型案例：某用工单位以“劳动者态度不好”为由退回劳动者，但无法提供充分证据证明劳动者存在过错，且未履行通知义务。后劳动者提起仲裁，仲裁委认定用工单位违法退回，裁决用工单位与劳务派遣单位共同支付劳动者工资损失及经济补偿。

四、特殊情形下的法律责任

• 不得退回的情形：如劳动者从事接触职业病危害作业未进行离岗前职业健康检查、在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力等，用工单位不得退回。若违法退回，需承担更严重的法律责任。
• 退回后的劳动关系处理：劳务派遣单位需根据劳动者情况重新派遣或解除劳动合同。若降低劳动合同约定条件导致劳动者不同意，劳务派遣单位不得解除劳动合同（除非劳动者提出解除）。

五、实务建议

1. 用工单位：

   • 严格遵守法定退回条件及程序。
   • 在劳务派遣协议中明确约定退回条件及程序，确保合法合规。
   • 退回前与劳务派遣单位充分沟通，确保处理得当。

2. 劳务派遣单位：

   • 及时与用工单位沟通，了解退回原因及程序。
   • 根据劳动者情况重新派遣或解除劳动合同，确保合法合规。
   • 若用工单位违法退回，及时主张权利，要求承担连带赔偿责任。

3. 劳动者：

   • 了解自身权益，如不得退回的情形、经济补偿标准等。
   • 若被违法退回，及时收集证据（如退回通知、工资单等），提起仲裁或诉讼。

总结：劳务派遣退回的法律责任复杂多样，需根据具体情况综合判断。用工单位、劳务派遣单位及劳动者均应了解相关法律法规，确保每一步操作都合法合规。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。