用工单位不可以无故退回劳务派遣的劳动者。这一结论基于以下法律框架和具体情形分析：
一、法定退回情形
根据《劳务派遣暂行规定》及相关法律法规，用工单位在以下特定情形下，有权将劳动者退回劳务派遣单位：
- 劳动合同订立时的客观情况发生重大变化：例如，因市政规划调整导致工厂搬迁，且劳动者无法随迁，经协商未能就变更劳动合同内容达成协议。
- 经济性裁员：企业需要裁减人员二十人以上，或裁减人数虽不足二十人但占企业职工总数百分之十以上，并依法履行了提前通知、说明情况、听取意见及报告等程序时，被派遣劳动者若在裁员范围内，可被退回。
- 派遣协议期满终止：若派遣期限届满且不再续订派遣协议，用工单位可退回劳动者。
- 劳动者严重过错：包括违反规章制度、失职、被追究刑事责任等情形，用工单位有权依据劳动合同或相关法律法规将其退回。
- 其他约定或法定情形：如劳动合同或派遣协议中有明确约定，或出现不可抗力、单位解散破产等情况，也可能导致退工。
二、禁止退回的情形
法律同样规定了禁止用工单位退回劳动者的情形，以保护劳动者的合法权益。这些情形包括但不限于：
- 从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间；
- 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力；
- 患病或非因工负伤，在规定的医疗期内；
- 女职工在孕期、产期、哺乳期；
- 在本单位连续工作满十五年，且距法定退休年龄不足五年；
- 法律、行政法规规定的其他不得退回的情形。
三、违法退回的后果
若用工单位违反法律规定或合同约定，无故或非法将劳动者退回劳务派遣单位，将可能面临以下法律后果：
- 恢复劳动关系：劳动者有权要求恢复与用工单位的劳动关系。
- 支付赔偿金：若恢复劳动关系不可行或劳动者选择不接受，用工单位和劳务派遣单位可能需共同支付赔偿金。赔偿金的计算通常依据劳动者在用工单位的工作年限和工资水平确定。
- 行政处罚：用工单位还可能面临劳动行政部门的处罚，包括但不限于罚款、警告等。
四、实务建议
- 明确约定：建议用工单位在签订劳动合同及派遣协议时，明确约定退工条件及程序，以避免后续纠纷。
- 合法合规：用工单位在退回劳动者时，必须严格遵守相关法律法规及合同约定，确保退工行为的合法性与合理性。
- 积极沟通：对于可能出现的争议，用工单位应积极与劳动者、劳务派遣单位沟通协商，寻求妥善解决方案。
综上所述，用工单位在退回劳务派遣的劳动者时，必须严格遵守法律规定，不得无故退回。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。