用工单位在符合法律规定或特定情形的条件下，有权将签订无固定期限合同的劳务派遣人员退回劳务派遣单位；但若缺乏正当理由或违反法律规定进行退工，则可能承担法律责任。以下是对此问题的详细分析：

一、法定退回情形

根据《劳务派遣暂行规定》及相关法律法规，用工单位在以下情形下可将签订无固定期限合同的劳务派遣人员退回劳务派遣单位：

1. 劳动合同订立时的客观情况发生重大变化：例如，因市政规划调整导致工厂搬迁，且劳动者无法随迁，经协商未能就变更劳动合同内容达成协议。这种情况下，用工单位可以依据《劳动合同法》的相关规定，将劳动者退回劳务派遣单位。

2. 经济性裁员：当企业需要裁减人员二十人以上，或裁减人数虽不足二十人但占企业职工总数百分之十以上，并依法履行了提前通知、说明情况、听取意见及报告等程序时，被派遣劳动者若在裁员范围内，可被退回。这一规定同样适用于签订无固定期限合同的劳务派遣人员。

3. 派遣协议期满终止：若派遣期限届满且不再续订派遣协议，用工单位可退回劳动者。这是派遣协议自然终止的一种情形，与劳动者是否签订无固定期限合同无关。

4. 劳动者严重过错：包括违反规章制度、失职、被追究刑事责任等情形。若签订无固定期限合同的劳务派遣人员存在这些严重过错，用工单位有权依据劳动合同或相关法律法规将其退回。

5. 其他约定或法定情形：如劳动合同或派遣协议中有明确约定，或出现不可抗力、单位解散破产等情况，也可能导致退工。这些情形同样适用于签订无固定期限合同的劳务派遣人员。

二、禁止退回的情形

同时，法律也规定了禁止退回的情形，这些情形同样适用于签订无固定期限合同的劳务派遣人员，主要包括：

• 从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间；
• 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力；
• 患病或非因工负伤，在规定的医疗期内；
• 女职工在孕期、产期、哺乳期；
• 在本单位连续工作满十五年，且距法定退休年龄不足五年；
• 法律、行政法规规定的其他不得退回的情形。

三、违法退回的后果

若用工单位违反法律规定或合同约定，无故或非法将签订无固定期限合同的劳务派遣人员退回劳务派遣单位，可能面临以下后果：

• 劳动者有权要求恢复劳动关系；
• 若恢复劳动关系不可行或劳动者选择不接受，用工单位和劳务派遣单位可能需共同支付赔偿金；
• 可能面临劳动行政部门的处罚，包括但不限于罚款、警告等。

四、建议与总结

对于用工单位而言，在退回签订无固定期限合同的劳务派遣人员时，必须严格遵守相关法律法规及合同约定，确保退工行为的合法性与合理性。建议用工单位在签订劳动合同及派遣协议时，明确约定退工条件及程序，以避免后续纠纷。同时，对于可能出现的争议，应积极与劳动者、劳务派遣单位沟通协商，寻求妥善解决方案。

若您在劳动工伤（劳务派遣）或合同纠纷领域有任何疑问或需要进一步的法律帮助，请随时向我咨询。