结论：用工单位在无正当理由的情况下，不可以随便将劳务派遣人员退回劳务公司。用工单位退回劳务派遣人员必须符合法律规定或特定情形，否则可能承担法律责任。

详细解释：

1. 法定退回情形：

   • 根据《劳务派遣暂行规定》及相关法律法规，用工单位在以下情形下可将劳动者退回劳务派遣单位：
     • 劳动合同订立时的客观情况发生重大变化：例如，因市政规划调整导致工厂搬迁，且劳动者无法随迁，经协商未能就变更劳动合同内容达成协议。
     • 经济性裁员：当企业需要裁减人员二十人以上，或裁减人数虽不足二十人但占企业职工总数百分之十以上，并依法履行了提前通知、说明情况、听取意见及报告等程序时，被派遣劳动者若在裁员范围内，可被退回。
     • 派遣协议期满终止：若派遣期限届满且不再续订派遣协议，用工单位可退回劳动者。
     • 劳动者严重过错：包括违反规章制度、失职、被追究刑事责任等情形，用工单位有权依据劳动合同或相关法律法规将其退回。
     • 其他约定或法定情形：如劳动合同或派遣协议中有明确约定，或出现不可抗力、单位解散破产等情况，也可能导致退工。

2. 禁止退回的情形：

   • 法律也规定了禁止退回的情形，以保护劳务派遣人员的合法权益。这些情形包括：
     • 从事接触职业病危害作业的劳动者未进行离岗前职业健康检查，或疑似职业病病人在诊断、医学观察期间。
     • 在本单位患职业病或因工负伤并被确认丧失或部分丧失劳动能力。
     • 患病或非因工负伤，在规定的医疗期内。
     • 女职工在孕期、产期、哺乳期。
     • 在本单位连续工作满十五年，且距法定退休年龄不足五年。
     • 法律、行政法规规定的其他不得退回的情形。

3. 违法退回的后果：

   • 若用工单位违反法律规定或合同约定，无故或非法将劳动者退回劳务派遣单位，可能面临以下后果：
     • 劳动者有权要求恢复劳动关系。
     • 若恢复劳动关系不可行或劳动者选择不接受，用工单位和劳务派遣单位可能需共同支付赔偿金。
     • 可能面临劳动行政部门的处罚，包括但不限于罚款、警告等。

建议：

• 作为劳务派遣人员，如果你认为用工单位无正当理由将你退回劳务公司，你可以首先与用工单位和劳务公司进行沟通，了解退回的具体原因，并要求他们提供相关的法律依据或证据。
• 如果沟通无果，你可以向当地的劳动行政部门投诉，寻求行政救济。
• 你也可以考虑通过法律途径维护自己的合法权益，比如申请劳动仲裁或提起诉讼。

总结：用工单位在退回劳务派遣人员时，必须严格遵守相关法律法规及合同约定，确保退工行为的合法性与合理性。如果你作为劳务派遣人员遇到此类问题，建议积极维护自己的合法权益，并向我咨询具体的法律策略。