用工单位退回派遣员工并没有一个统一固定的“规定时间”，但退回行为必须严格遵循法律法规，且通常与特定情形相关联。以下是从不同角度对这一问题的详细分析：

一、法律法规对退回派遣员工的规定

根据《劳动合同法》及《劳务派遣暂行规定》等相关法律法规，用工单位退回派遣员工主要基于以下情形：

1. 因被派遣劳动者自身原因：

   • 试用期间不符合录用条件；
   • 严重违反规章制度；
   • 严重失职或营私舞弊；
   • 建立多重劳动关系且对完成本职工作造成严重影响；
   • 欺诈、胁迫订立合同；
   • 被追究刑事责任；
   • 患病或非因工负伤，在医疗期满后不能胜任原工作或另行安排的工作；
   • 不能胜任工作，经培训或调整岗位后仍不能胜任。

2. 因用工单位自身原因：

   • 客观情况发生重大变化，如产业结构调整、部门撤销等，导致劳动合同无法履行，且双方未能就变更内容达成协议；
   • 企业重整或经营困难，如破产重整、生产经营严重困难或需要经济性裁员；
   • 转产、技术革新或经营方式调整，导致岗位需求变化，且经变更劳动合同后仍需裁减人员；
   • 企业终止经营，如被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或经营期限届满不再继续经营。

3. 因劳务派遣协议期满：

   • 劳务派遣协议到期且未续签。

4. 其他特定情形：

   • 协商一致；
   • 劳务派遣协议中约定的其他合法合规的退回情形。

二、退回派遣员工的时间考量

虽然法律法规没有明确规定用工单位必须在何时退回派遣员工，但退回行为应当与上述特定情形紧密相关，并在情形发生后及时进行。例如，如果派遣员工在试用期间不符合录用条件，用工单位应在试用期结束前或结束时及时退回；如果用工单位因客观情况发生重大变化需要退回派遣员工，则应在双方未能就变更劳动合同内容达成协议后及时退回。

三、违法退回的法律后果

用工单位在退回派遣员工时，必须确保行为符合法律法规要求。如果违法退回给派遣员工造成损害，劳务派遣单位与用工单位需承担连带赔偿责任。这包括支付经济补偿金、赔偿金等，具体数额根据派遣员工的实际损失和法律法规的规定来确定。

四、建议与注意事项

1. 用工单位：在退回派遣员工前，应仔细审查法律法规和劳务派遣协议的相关规定，确保退回行为合法合规。同时，应与劳务派遣单位和派遣员工进行充分沟通，尽量协商一致，避免引发不必要的法律纠纷。
2. 派遣员工：如果被用工单位退回，应了解自己的权益和法律法规的相关规定。如果认为退回行为违法或不合理，可以与劳务派遣单位和用工单位进行协商，或者向劳动争议调解仲裁机构申请仲裁，维护自己的合法权益。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。我会根据你的具体情况，为你提供专业、全面的法律建议。