退回劳务派遣的决定权通常取决于劳务派遣协议中的约定以及相关法律法规的规定，既可能是工厂甲方（用工单位）决定，也可能是第三方（劳务派遣单位）决定，或者双方共同决定。以下从不同角度进行详细分析：

1. 劳务派遣协议中的约定：

   • 劳务派遣单位与用工单位之间会签订劳务派遣协议，该协议是双方权利义务的基础。
   • 协议中通常会明确规定在何种情况下用工单位可以将劳动者退回劳务派遣单位，以及退回的程序和方式。
   • 如果协议中明确约定了用工单位在特定条件下有权单方面决定退回劳动者，那么工厂甲方（用工单位）就有权根据协议约定作出退回决定。
   • 反之，如果协议中没有明确约定或者约定了需要双方协商一致才能退回，那么退回决定就需要双方共同作出。

2. 相关法律法规的规定：

   • 根据《中华人民共和国劳动合同法》等相关法律法规，用工单位在特定情况下（如劳动者不能胜任工作、客观情况发生重大变化等）有权将劳动者退回劳务派遣单位。
   • 但这些法律法规并没有明确规定退回决定必须由哪一方作出，而是留给了劳务派遣协议去具体约定。
   • 因此，在法律法规没有明确规定的情况下，退回决定权主要取决于劳务派遣协议的约定。

3. 实际操作中的常见情况：

   • 在实际操作中，由于用工单位通常对劳动者的工作表现和用工需求有更直接的了解，因此很多劳务派遣协议会赋予用工单位在特定条件下单方面退回劳动者的权利。
   • 但同时，为了保障劳动者的权益和避免滥用退回权，协议中也会对退回的条件和程序进行严格限制。
   • 如果用工单位违反协议约定或法律法规规定随意退回劳动者，劳务派遣单位有权拒绝并要求用工单位继续履行协议或承担违约责任。

建议：

• 对于劳动者而言，如果面临被退回劳务派遣单位的情况，首先应当查看劳务派遣协议中的相关约定，了解自己的权利和义务。
• 如果认为用工单位的退回决定不合理或违反协议约定，可以向劳务派遣单位提出异议并要求协商解决。
• 如果协商无果，可以向当地劳动监察部门投诉或申请劳动仲裁以维护自己的合法权益。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据你的具体情况提供详细的法律建议。