用工单位不可以随时退回劳务人员，其退回行为需受到法律的严格约束。以下是对此问题的详细分析：

一、法定退回情形

根据《中华人民共和国劳动合同法》第六十五条以及《劳务派遣暂行规定》的相关条款，用工单位在以下特定情形下可以将劳务人员退回劳务派遣单位：

1. 劳动者过错类：

   • 劳动者在试用期间被证明不符合录用条件的；
   • 劳动者严重违反用人单位的规章制度的；
   • 劳动者严重失职，营私舞弊，给用人单位造成重大损害的；
   • 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
   • 劳动者以欺诈、胁迫的手段或者乘人之危，使用人单位在违背真实意思的情况下订立或者变更劳动合同的；
   • 劳动者被依法追究刑事责任的。

2. 无过失性辞退类：

   • 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的；
   • 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的。

3. 经济性裁员类及特殊情形：

   • 劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的；
   • 用工单位依照企业破产法规定进行重整的；
   • 用工单位生产经营发生严重困难的；
   • 用工单位转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的；
   • 其他因劳动合同订立时所依据的客观经济情况发生重大变化，致使劳动合同无法履行的情形；
   • 劳务派遣协议期满终止的；
   • 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或者经营期限届满不再继续经营的。

二、退回程序与限制

1. 程序要求：用工单位决定退回被派遣劳动者时，应遵守法定程序，确保劳动者的合法权益不受侵害。例如，应提前通知劳动者并说明退回理由，为劳动者提供必要的申诉渠道等。若用工单位未遵循法定程序，可能面临法律责任。

2. 禁止性规定：用工单位不得随意将被派遣劳动者再派遣到其他用人单位，也不得因非法定事由将劳动者退回劳务派遣单位。例如，在劳动者无过错且未出现法定退回情形时，用工单位不得单方面决定退回劳动者。

三、退回后的处理

当用工单位依法将劳动者退回劳务派遣单位后，劳务派遣单位需按照法律规定妥善处理后续事宜：

1. 重新安排工作岗位：劳务派遣单位应积极为被退回的劳动者重新安排合适的工作岗位，确保其能够继续就业。

2. 支付经济补偿金：若因用工单位原因导致劳动者被退回，且劳务派遣单位决定解除劳动合同的，应按照法律规定向劳动者支付经济补偿金。经济补偿金的计算标准通常为每满一年支付一个月工资，六个月以上不满一年的按一年计算，不满六个月的支付半个月工资。

3. 继续履行合同：在特定情形下，如劳动者处于孕期、产期、哺乳期等，劳务派遣单位应继续履行劳动合同，不得随意解除。

四、法律后果

若用工单位违反法律规定随意退回劳动者，可能面临以下法律后果：

1. 劳动者主张赔偿：劳动者有权要求用工单位承担违法退回的法律责任，包括要求恢复劳动关系、支付赔偿金等。

2. 行政处罚：劳动行政部门有权对违法退回劳动者的用工单位进行行政处罚，如罚款、责令改正等。

总结与建议：

用工单位在退回劳务人员时，必须严格遵守法律规定，确保退回行为的合法性和合理性。若您作为用工单位或劳务人员，在面临退回问题时存在疑问或纠纷，建议直接向我咨询，我将根据您的具体情况提供详细的法律建议和解决方案。