结论：在“假派遣”的情况下，用工单位能否退回劳动者，需根据具体情况判断，但通常用工单位有权退回，不过可能面临法律风险。以下从不同角度详细分析：

一、“假派遣”的法律性质

“假派遣”通常指的是用人单位为了规避法律责任，如避免与劳动者签订无固定期限劳动合同、减少社会保险费用支出等，而采取的一种不正当的劳务派遣方式。在这种方式下，劳动者实际上是在用工单位工作，但名义上却是与劳务派遣单位签订劳动合同。这种行为违反了劳务派遣的立法初衷，即劳务派遣应当作为补充形式，主要用于临时性、辅助性或者替代性的工作岗位上。

二、用工单位退回劳动者的法律依据

根据《劳务派遣暂行规定》等相关法律法规，用工单位在特定情况下有权将劳动者退回劳务派遣单位。这些情况通常包括：

1. 劳动者不符合录用条件：如果劳动者在试用期内被证明不符合录用条件，用工单位可以将其退回。
2. 劳动者严重违反规章制度：如果劳动者严重违反用工单位的规章制度，用工单位也有权将其退回。
3. 劳动者不能胜任工作：经过培训或者调整工作岗位，劳动者仍不能胜任工作的，用工单位可以将其退回。
4. 客观情况发生重大变化：如劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，且双方未能就变更劳动合同内容达成协议的，用工单位也可以将劳动者退回。

三、“假派遣”下用工单位退回劳动者的法律风险

尽管用工单位在上述情况下有权将劳动者退回劳务派遣单位，但在“假派遣”的情况下，用工单位可能面临以下法律风险：

1. 被认定为事实劳动关系：如果法院或劳动仲裁机构认定用工单位与劳动者之间实际上存在事实劳动关系，而非劳务派遣关系，那么用工单位可能需要承担用人单位的法律责任，如支付经济补偿金、社会保险费用等。
2. 行政处罚：对于违反劳务派遣规定的行为，劳动行政部门有权对用工单位进行行政处罚，如罚款、责令改正等。
3. 劳动者索赔：如果劳动者因“假派遣”而遭受损失，如未签订无固定期限劳动合同的损失、社会保险费用的损失等，劳动者有权向用工单位索赔。

四、建议

1. 用工单位应规范劳务派遣行为：确保劳务派遣符合法律法规的规定，避免采取“假派遣”等不正当方式。
2. 加强与劳务派遣单位的合作与沟通：明确双方的权利义务，确保劳务派遣的合法性和有效性。
3. 关注劳动者的权益保护：在用工过程中，应尊重劳动者的合法权益，避免侵犯劳动者的权益。

最后，如果你在“假派遣”或劳务派遣方面遇到任何法律问题，或者需要进一步的法律咨询和帮助，请随时向我咨询。