用人单位不可以随时将被派遣的员工退回，其退回行为必须受到法律的严格约束。以下是对此问题的详细分析：

一、法律依据与合法退回情形

根据《中华人民共和国劳动合同法》第六十五条的规定，被派遣劳动者有本法第三十九条和第四十条第一项、第二项规定情形的，用工单位可以将劳动者退回劳务派遣单位。具体来说，这些情形包括：

1. 劳动者存在过错：

   • 在试用期间被证明不符合录用条件的；
   • 严重违反用人单位的规章制度的；
   • 严重失职，营私舞弊，给用人单位造成重大损害的；
   • 劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；
   • 以欺诈、胁迫的手段或者乘人之危，使用人单位在违背真实意思的情况下订立或者变更劳动合同的；
   • 被依法追究刑事责任的。

2. 无过失性辞退（需提前通知或支付代通知金）：

   • 劳动者患病或者非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作的；
   • 劳动者不能胜任工作，经过培训或者调整工作岗位，仍不能胜任工作的。

此外，《劳务派遣暂行规定》第十二条也明确了用工单位在某些特定情形下可以退回被派遣劳动者，如劳动合同订立时所依据的客观情况发生重大变化致使劳动合同无法履行等。

二、退回程序与限制

1. 程序要求：用工单位决定退回被派遣劳动者时，应遵守法定程序，确保劳动者的合法权益不受侵害。例如，应提前通知劳动者并说明退回理由，为劳动者提供必要的申诉渠道等。

2. 禁止性规定：用工单位不得随意将被派遣劳动者再派遣到其他用人单位，也不得因非法定事由将劳动者退回劳务派遣单位。否则，可能面临法律责任，如支付赔偿金等。

三、退回后的处理

当用工单位依法将劳动者退回劳务派遣单位后，劳务派遣单位需按照法律规定妥善处理后续事宜。这包括重新安排工作岗位、支付经济补偿金（在符合法定条件时）或继续履行合同等。若劳务派遣单位未能妥善安置被退回的劳动者，导致劳动者权益受损，劳务派遣单位需承担相应的赔偿责任。

四、实际案例与风险提示

在实际操作中，有些用工单位可能因管理不善或法律意识淡薄而随意退回被派遣劳动者。这种行为不仅可能损害劳动者的合法权益，还可能使用工单位面临法律风险。例如，如果用工单位无法证明劳动者存在法定退回情形而强行退回，劳动者有权要求用工单位继续履行合同或支付赔偿金。

总结与建议：

作为用工单位，应严格遵守法律法规，不得随意退回被派遣劳动者。在决定退回前，应仔细审查劳动者的行为是否符合法定退回情形，并确保遵守法定程序。同时，建议用工单位加强与劳务派遣单位的沟通与合作，共同维护劳动者的合法权益和企业的稳定发展。

如果您在劳动工伤（劳务派遣）领域有任何法律问题或需要进一步的法律建议，请直接向我咨询。