用工单位不可以随意把员工退回劳务公司。用工单位在退回劳动者至劳务派遣单位时，必须严格遵守相关法律法规及合同约定，确保退工行为的合法性与合理性。以下是对此问题的详细解析：
法定退回情形
根据《劳务派遣暂行规定》及相关法律法规，用工单位在以下情形下可将劳动者退回劳务派遣单位：
- 劳动合同订立时的客观情况发生重大变化：例如，因市政规划调整导致工厂搬迁，且劳动者无法随迁，经协商未能就变更劳动合同内容达成协议。
- 经济性裁员：当企业需要裁减人员二十人以上，或裁减人数虽不足二十人但占企业职工总数百分之十以上，并依法履行了提前通知、说明情况、听取意见及报告等程序时，被派遣劳动者若在裁员范围内，可被退回。
- 派遣协议期满终止：若派遣期限届满且不再续订派遣协议，用工单位可退回劳动者。
- 劳动者严重过错：包括违反规章制度、失职、被追究刑事责任等情形，用工单位有权依据劳动合同或相关法律法规将其退回。
- 其他约定或法定情形：如劳动合同或派遣协议中有明确约定，或出现不可抗力、单位解散破产等情况，也可能导致退工。
禁止退回的情形
同时，法律也规定了禁止退回的情形，主要包括：
- 从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间；
- 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力；
- 患病或非因工负伤，在规定的医疗期内；
- 女职工在孕期、产期、哺乳期；
- 在本单位连续工作满十五年，且距法定退休年龄不足五年；
- 法律、行政法规规定的其他不得退回的情形。
违法退回的后果
若用工单位违反法律规定或合同约定，无故或非法将劳动者退回劳务派遣单位，可能面临以下后果：
- 劳动者有权要求恢复劳动关系；
- 若恢复劳动关系不可行或劳动者选择不接受，用工单位和劳务派遣单位可能需共同支付赔偿金；
- 可能面临劳动行政部门的处罚，包括但不限于罚款、警告等。
建议与总结
- 明确约定退工条件及程序：建议用工单位在签订劳动合同及派遣协议时，明确约定退工条件及程序，以避免后续纠纷。
- 积极沟通协商：对于可能出现的争议，用工单位应积极与劳动者、劳务派遣单位沟通协商，寻求妥善解决方案。
- 遵守法律法规：用工单位在退回劳动者时，必须严格遵守相关法律法规，确保退工行为的合法性与合理性。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，提供专业、全面的法律建议。