用工单位不可以随时退回劳务派遣工，其退回行为必须严格遵循法律的规定。以下是对此问题的详细解答：

一、法律依据与合法退回情形

根据《中华人民共和国劳动合同法》第六十五条以及《劳务派遣暂行规定》的相关条款，用工单位在以下特定情形下可以将劳务派遣工退回劳务派遣单位：

1. 劳动者存在过错：

   • 在试用期间被证明不符合录用条件的；
   • 严重违反用人单位的规章制度的；
   • 严重失职，营私舞弊，给用人单位造成重大损害的；
   • 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
   • 以欺诈、胁迫的手段或者乘人之危，使用人单位在违背真实意思的情况下订立或者变更劳动合同的；
   • 被依法追究刑事责任的。

2. 无过失性情形：

   • 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的；
   • 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的；
   • 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，且经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的。

二、退回程序与限制

1. 程序要求：用工单位在决定退回劳务派遣工时，必须遵守法定程序。这通常包括提前通知劳动者，并明确说明退回的理由。同时，用工单位应为劳动者提供必要的申诉渠道，确保劳动者的合法权益不受侵害。

2. 禁止性规定：用工单位不得随意将被派遣劳动者再派遣到其他用人单位，也不得因非法定事由将劳动者退回劳务派遣单位。违反这些规定，用工单位可能面临法律责任。

三、退回后的处理

当用工单位依法将劳务派遣工退回劳务派遣单位后，劳务派遣单位需按照法律规定妥善处理后续事宜。这可能包括重新安排工作岗位、支付经济补偿金（在符合法定条件时）或继续履行合同等。若劳务派遣单位未能妥善安置被退回的劳动者，导致劳动者权益受损，劳务派遣单位需承担相应的赔偿责任。

四、非法退回的后果

如果用工单位违反法律规定，随意退回劳务派遣工，可能面临法律责任。根据《劳动合同法》的相关规定，违法解除或终止劳动合同的，应当依照经济补偿标准的二倍向劳动者支付赔偿金。经济补偿按劳动者在本单位工作的年限计算，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。

综上所述，用工单位在退回劳务派遣工时，必须严格遵守法律规定，确保退回行为的合法性和合理性。如有任何疑问或需要进一步的法律咨询，建议咨询专业律师或相关劳动部门。