结论前置：在劳务派遣关系中，即使母公司是用工单位，且子公司与劳动者没有实际劳动关系，子公司通常也不能直接退回派遣单位，而应遵循一定的法律程序和规定。

详细分析：

1. 劳务派遣关系的基本构成：

   • 劳务派遣中涉及三方主体：派遣单位（用人单位）、用工单位（实际使用劳动者的单位）、劳动者。
   • 派遣单位与劳动者签订劳动合同，建立劳动关系；用工单位与派遣单位签订劳务派遣协议，使用劳动者的劳务。

2. 子公司的法律地位：

   • 子公司作为独立法人，与母公司各自承担法律责任。
   • 子公司若未与劳动者建立实际劳动关系，则不是劳动者的用人单位，但可能作为用工单位存在。

3. 退回派遣单位的条件与程序：

   • 根据《劳动合同法》及相关规定，用工单位在某些特定情况下（如劳动者严重违反规章制度、不能胜任工作等）可以将劳动者退回派遣单位。
   • 退回时，用工单位需遵循法律规定的程序，如提前通知、说明理由等。
   • 子公司若作为用工单位，欲退回劳动者至派遣单位，也需满足上述条件和程序。

4. 特殊情况下的处理：

   • 若子公司并非用工单位，而是基于与母公司的某种业务合作或安排而涉及劳动者，则子公司无权直接退回劳动者至派遣单位。
   • 在此情况下，子公司应与母公司、派遣单位及劳动者协商处理，明确各方权利义务，确保合法合规。

综上所述，子公司不能直接退回派遣单位的劳动者，而应根据劳务派遣关系的基本构成、子公司的法律地位以及退回派遣单位的条件与程序来合法处理。如有具体法律问题或争议，建议直接向我咨询，以便获得更专业的法律建议。