用工单位在符合法律规定或特定情形的条件下，有权将劳务派遣人员退回劳务派遣单位；但若缺乏正当理由或违反法律规定进行退工，则可能承担法律责任。以下是对此问题的详细分析：
一、法定退回情形
根据《劳务派遣暂行规定》及相关法律法规，用工单位在以下情形下可将劳务派遣人员退回劳务派遣单位：
- 劳动合同订立时的客观情况发生重大变化：例如，因市政规划调整导致工厂搬迁，且劳务派遣人员无法随迁，经协商未能就变更劳动合同内容达成协议。
- 经济性裁员：当企业需要裁减人员二十人以上，或裁减人数虽不足二十人但占企业职工总数百分之十以上，并依法履行了提前通知、说明情况、听取意见及报告等程序时，被派遣劳务人员若在裁员范围内，可被退回。
- 派遣协议期满终止：若派遣期限届满且不再续订派遣协议，用工单位可退回劳务派遣人员。
- 劳务派遣人员严重过错：包括违反规章制度、失职、被追究刑事责任等情形，用工单位有权依据劳动合同或相关法律法规将其退回。例如，劳务派遣人员严重违反用工单位的规章制度，如连续旷工超过规定天数，或严重失职、营私舞弊给用工单位造成重大损害。
- 其他约定或法定情形：如劳动合同或派遣协议中有明确约定，或出现不可抗力、单位解散破产等情况，也可能导致退工。
二、禁止退回的情形
同时，法律也规定了禁止退回的情形，主要包括：
- 从事接触职业病危害作业的劳务派遣人员未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间；
- 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力；
- 患病或非因工负伤，在规定的医疗期内；
- 女职工在孕期、产期、哺乳期；
- 在本单位连续工作满十五年，且距法定退休年龄不足五年；
- 法律、行政法规规定的其他不得退回的情形。
三、违法退回的后果
若用工单位违反法律规定或合同约定，无故或非法将劳务派遣人员退回劳务派遣单位，可能面临以下后果：
- 劳务派遣人员有权要求恢复劳动关系；
- 若恢复劳动关系不可行或劳务派遣人员选择不接受，用工单位和劳务派遣单位可能需共同支付赔偿金；
- 可能面临劳动行政部门的处罚，包括但不限于罚款、警告等。
四、建议与注意事项
- 明确约定退工条件及程序：用工单位在签订劳动合同及派遣协议时，应明确约定退工条件及程序，以避免后续纠纷。
- 积极沟通协商：对于可能出现的争议，用工单位应积极与劳务派遣人员、劳务派遣单位沟通协商，寻求妥善解决方案。
- 遵守法律法规：用工单位在退回劳务派遣人员时，必须严格遵守相关法律法规及合同约定，确保退工行为的合法性与合理性。
综上所述，用工单位在退回劳务派遣人员时，必须谨慎行事，确保符合法律规定和合同约定。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。