用工单位退回派遣工时，并不需要直接与员工签订协议，但这一过程涉及多方权利和义务，需谨慎处理以避免法律风险。以下是对此问题的详细分析：

一、法律关系梳理

1. 劳务派遣单位与被派遣劳动者：双方签订的是劳动合同，确立了劳动关系。劳务派遣单位作为用人单位，负责招聘、录用、管理、培训、支付工资、缴纳社会保险等事项。
2. 劳务派遣单位与用工单位：双方签订的是劳务派遣协议，明确了派遣服务的内容、条件、费用等。用工单位按照协议约定，向劳务派遣单位支付服务费用，并接收和使用被派遣劳动者。
3. 用工单位与被派遣劳动者：双方之间不存在直接的劳动合同关系，但存在实际的用工关系。用工单位负责为被派遣劳动者提供工作岗位、劳动条件、劳动保护等，并按照约定向劳务派遣单位支付相关费用。

二、用工单位退回派遣工的法律处理

1. 退回的合法性：用工单位在符合法律法规和劳务派遣协议约定的条件下，可以退回派遣工。例如，当用工单位因生产经营需要调整用工结构，或者派遣工不符合录用条件、严重违反用工单位规章制度等情形时，用工单位有权退回派遣工。
2. 退回的程序：用工单位在退回派遣工时，应遵循一定的程序。通常，用工单位需要提前通知劳务派遣单位，并说明退回的理由和依据。劳务派遣单位在收到通知后，应与被派遣劳动者进行沟通，了解其意愿和情况，并依法处理相关事宜。
3. 与员工签订协议的必要性：在退回派遣工的过程中，用工单位并不需要直接与员工签订协议。因为用工单位与被派遣劳动者之间不存在直接的劳动合同关系，所以用工单位无权直接与员工签订关于退回的协议。然而，为了确保退回过程的合法性和规范性，用工单位应与劳务派遣单位密切沟通，确保双方对退回事宜达成一致，并按照劳务派遣协议的约定履行各自的责任和义务。

三、可能涉及的法律风险及防范

1. 违法退回的风险：如果用工单位在不符合法律法规或劳务派遣协议约定的条件下退回派遣工，可能面临违法退回的风险。这可能导致用工单位承担法律责任，如支付赔偿金、恢复劳动关系等。
2. 防范措施：为了防范违法退回的风险，用工单位应严格遵守法律法规和劳务派遣协议的约定，确保退回的合法性和合理性。同时，用工单位应与劳务派遣单位建立有效的沟通机制，及时就退回事宜进行协商和沟通，确保双方对退回事宜达成一致。

四、实际操作建议

1. 完善劳务派遣协议：用工单位在与劳务派遣单位签订劳务派遣协议时，应明确约定退回的条件、程序和责任等事项。这有助于规范退回过程，减少法律风险。
2. 加强沟通与协商：在退回派遣工的过程中，用工单位应与劳务派遣单位保持密切沟通，及时就退回事宜进行协商和沟通。这有助于确保双方对退回事宜达成一致，并按照约定履行各自的责任和义务。
3. 关注员工权益：虽然用工单位与被派遣劳动者之间不存在直接的劳动合同关系，但用工单位仍应关注员工的权益。在退回过程中，用工单位应确保员工的合法权益不受侵害，如支付应得的劳动报酬、提供必要的劳动保护等。

如有更多关于劳动工伤（劳务派遣）的法律问题，欢迎直接向我咨询。