将员工退回劳务派遣单位的决定权，并非单一由工厂或劳务派遣单位决定，而是需根据具体情况和法律规定来判断。以下从不同角度进行分析：

1. 合同约定角度：

   • 工厂与劳务派遣单位之间签订的劳务派遣协议中，通常会明确约定员工退回的条件和程序。如果协议中明确规定了在某些情况下（如员工不胜任工作、违反工厂规章制度等）工厂有权将员工退回劳务派遣单位，那么工厂在符合这些条件时，可以依据协议将员工退回。
   • 反之，如果协议中没有明确规定或规定不明确，或者工厂退回员工的行为不符合协议中的约定，那么工厂可能无权单方面将员工退回。

2. 法律规定角度：

   • 根据《中华人民共和国劳动合同法》的相关规定，劳务派遣单位应当与被派遣劳动者订立二年以上的固定期限劳动合同，按月支付劳动报酬；被派遣劳动者在无工作期间，劳务派遣单位应当按照所在地人民政府规定的最低工资标准，向其按月支付报酬。
   • 同时，该法也规定了被派遣劳动者可以依照本法第三十六条、第三十八条的规定与劳务派遣单位解除劳动合同，以及在特定情况下（如劳务派遣单位违法、用工单位违法等）被派遣劳动者可以解除劳动合同并要求经济补偿。
   • 虽然法律没有直接规定工厂在何种情况下可以将员工退回劳务派遣单位，但结合劳务派遣的性质和目的，可以理解为在符合劳务派遣协议约定且不违反法律强制性规定的情况下，工厂有权将员工退回。然而，如果工厂的退回行为违反了法律强制性规定（如歧视性退回、无正当理由退回等），则可能面临法律责任。

3. 实际操作角度：

   • 在实际操作中，工厂和劳务派遣单位通常会根据劳务派遣协议中的约定以及实际情况来决定是否退回员工。如果员工存在严重违反工厂规章制度、不胜任工作且经过培训或调岗后仍不胜任等情形，工厂可能会依据协议将员工退回劳务派遣单位。
   • 同时，劳务派遣单位在收到退回的员工后，也需要根据法律规定和劳务派遣协议中的约定来处理员工的后续事宜，如重新派遣、支付无工作期间的报酬等。

建议：

• 对于工厂而言，在决定将员工退回劳务派遣单位前，应仔细审查劳务派遣协议中的约定以及相关法律法规的规定，确保退回行为的合法性和合理性。
• 对于劳务派遣单位而言，应加强与工厂的沟通与合作，共同制定合理的劳务派遣协议和退回机制，以保障被派遣劳动者的合法权益和劳务派遣关系的稳定。
• 对于被派遣劳动者而言，如果面临被退回的情况，应了解自己的合法权益和救济途径，如与劳务派遣单位协商、向劳动监察部门投诉或申请劳动仲裁等。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。