结论前置：
- 在符合法律规定或特定情形的条件下，用工单位有权将劳动者退回劳务派遣单位。
- 若缺乏正当理由或违反法律规定进行退工，用工单位可能承担法律责任。
详细分析：
一、法定退回情形
根据《中华人民共和国劳动合同法》第六十五条及《劳务派遣暂行规定》的相关条款，用工单位在以下情形下可以将劳动者退回劳务派遣单位：
劳动者过错类：
- 严重违反用工单位规章制度（如连续旷工超过规定天数）。
- 严重失职或营私舞弊造成重大损害（如因操作失误导致设备报废）。
- 同时与其他用人单位建立劳动关系且拒不改正。
- 以欺诈、胁迫手段使对方订立劳动合同。
- 被依法追究刑事责任。
无过失性辞退类：
- 劳动者患病或非因工负伤，医疗期满后不能从事原工作也不能从事另行安排的工作。
- 不能胜任工作经培训或调岗后仍不能胜任。
- 客观情况发生重大变化致使合同无法履行且协商不成。
经济性裁员类：
- 用工单位依照企业破产法重整。
- 生产经营发生严重困难。
- 转产、重大技术革新需裁减人员。
- 其他客观经济情况变化。
特殊情形：
- 劳务派遣协议期满终止。
- 依法宣告破产、吊销营业执照、责令关闭、撤销、提前解散。
- 法律法规规定的其他情形。
二、禁止退回的情形
同时，法律也规定了禁止退回的情形，主要包括：
- 从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间。
- 女职工在孕期、产期、哺乳期。
- 在本单位连续工作满十五年，且距法定退休年龄不足五年。
- 法律、行政法规规定的其他不得退回的情形。
三、违法退回的后果
若用工单位违反法律规定或合同约定，无故或非法将劳动者退回劳务派遣单位，可能面临以下后果：
- 劳动者有权要求恢复劳动关系：若劳动者认为退工行为违法，可以要求恢复与用工单位的劳动关系。
- 支付赔偿金：若恢复劳动关系不可行或劳动者选择不接受，用工单位和劳务派遣单位可能需共同支付赔偿金。赔偿金的标准通常根据劳动者的工作年限和工资水平确定。
- 面临劳动行政部门的处罚：包括但不限于罚款、警告等。
四、建议与总结
- 严格遵守法律规定：用工单位在退回劳动者至劳务派遣单位时，必须严格遵守相关法律法规及合同约定，确保退工行为的合法性与合理性。
- 明确约定退工条件及程序：建议用工单位在签订劳动合同及派遣协议时，明确约定退工条件及程序，以避免后续纠纷。
- 积极沟通协商：对于可能出现的争议，用工单位应积极与劳动者、劳务派遣单位沟通协商，寻求妥善解决方案。
最后，如果您在劳务派遣或合同纠纷方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况，提供专业、全面的法律建议。