在劳务派遣关系中，不是实际用工单位，不能直接退回派遣工。具体解释如下：

1. 劳务派遣关系的法律基础：

   • 根据《中华人民共和国劳动合同法》的相关规定，劳务派遣是一种特殊的用工方式，其中涉及三方主体：劳务派遣单位、用工单位和被派遣劳动者。
   • 劳务派遣单位与被派遣劳动者建立劳动关系，承担用人单位的责任；而用工单位则与被派遣劳动者建立劳务使用关系，负责提供工作岗位和劳动条件。

2. 退回派遣工的法定情形：

   • 《劳动合同法》第六十五条第二款规定，被派遣劳动者在出现特定法定情形时，如试用期不符合录用条件、严重违反规章制度、严重失职等，用工单位可以将其退回劳务派遣单位。
   • 同时，《劳务派遣暂行规定》也明确了用工单位可以退回被派遣劳动者的具体情形，这些情形主要包括劳动者无过错但因客观情况变化导致劳动合同无法履行的情形，以及用工单位自身经营状况发生变化的情形等。

3. 退回程序的合规性：

   • 用工单位在退回被派遣劳动者时，必须严格按照法律规定的情形和程序操作，不得随意行事。
   • 退回前应与劳务派遣单位充分协商，并确保被派遣劳动者的合法权益得到妥善处理，如安排好工作交接、结清工资、提供必要的经济补偿等。

4. 非法定情形的处理：

   • 如果用工单位想要退回被派遣劳动者，但不符合法定的退回情形，那么这种退回行为可能是违法的。
   • 在这种情况下，用工单位可能需要承担相应的法律责任，包括但不限于赔偿被派遣劳动者的经济损失、恢复其工作岗位等。

综上所述，不是实际用工单位，不能直接退回派遣工。用工单位在退回被派遣劳动者时，必须严格遵守相关法律法规和规定，确保退回过程的合法性、合规性，并充分保障被派遣劳动者的合法权益。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。