用工单位不能随意退回被派遣的劳动者。劳务派遣中的用工单位虽然享有对劳动者的使用权，但并不具备直接解除劳动关系的法律资格。若用工单位认为劳动者不符合岗位要求或存在违规行为，需通过法定程序将劳动者退回劳务派遣单位处理。
法定退回情形
根据《劳务派遣暂行规定》及相关法律法规，用工单位在以下情形下可将劳动者退回劳务派遣单位：
- 试用期不合格：在试用期内证明劳动者不符合录用条件；
- 不胜任工作：经培训或调岗后仍无法胜任岗位；
- 客观情况变化：劳动合同订立时的客观经济情况发生重大变化，导致合同无法履行，且经用人单位与劳动者协商，未能就变更劳动合同内容达成协议；
- 经济性裁员：因企业生产经营发生严重困难等原因，需要裁减人员，并依法履行了提前通知、说明情况等程序；
- 严重违规：劳动者严重违反用工单位规章制度；
- 双重劳动关系：同时与其他单位建立劳动关系且拒不改正；
- 欺诈胁迫：以欺诈、胁迫手段使对方在违背真实意思的情况下订立或变更劳动合同；
- 刑事责任：劳动者被依法追究刑事责任。
退回后的处理程序
当劳动者被退回劳务派遣单位后，处理方式包括：
- 若退回原因符合法定解除情形（如严重违规），劳务派遣单位可依法解除劳动合同；
- 若退回原因属于非过错性事由（如不胜任工作），劳务派遣单位应依据法律规定支付经济补偿金；
- 双方也可协商保留劳动关系并调整工作岗位。
用工单位需注意的法律风险
- 违法退回责任：未满足法定条件的退回行为构成违法，需承担继续履行合同或赔偿损失的责任；
- 连带责任风险：若劳务派遣单位存在违法行为（如未缴纳社保），用工单位可能需承担连带赔偿责任；
- 管理边界约束：用工单位不得超越合同约定范围行使管理权，否则可能引发劳动争议。
综上所述，用工单位在退回被派遣劳动者时，必须严格遵守法律规定，确保退回行为符合法定情形，并依法履行相关程序。如有任何疑问或需要进一步的法律建议，请直接向我咨询。