结论：非协议主体非用工单位把派遣工退回派遣单位，一般情况下是不合法的，但具体还需根据实际情况和法律规定来判断。
分析说明：
劳务派遣的基本法律关系：
- 在劳务派遣中，通常存在三方主体：派遣单位（用人单位）、用工单位和派遣工（劳动者）。派遣单位与派遣工签订劳动合同，建立劳动关系，并将派遣工派遣至用工单位工作。用工单位则负责派遣工的实际工作安排和管理。
- 派遣单位与用工单位之间会签订劳务派遣协议，明确双方的权利和义务，包括派遣工的退回条件等。
非协议主体非用工单位退回派遣工的合法性：
- 非协议主体：如果退回派遣工的主体不是劳务派遣协议中的任何一方（即既不是派遣单位也不是用工单位），那么该主体通常没有法律上的权利直接退回派遣工。因为劳务派遣关系是基于派遣单位和用工单位之间的协议建立的，非协议主体无权干预。
- 非用工单位：即使退回主体是派遣单位或用工单位的关联方，但如果其不是劳务派遣协议中明确约定的用工单位，也无权直接退回派遣工。用工单位的权利和义务是由劳务派遣协议明确约定的，非用工单位不能擅自行使。
合法退回派遣工的情形：
- 根据《劳务派遣暂行规定》等相关法律法规，用工单位可以在特定情形下将派遣工退回派遣单位，如派遣工不符合录用条件、严重违反用工单位规章制度、严重失职给用工单位造成重大损害等。但这些退回情形必须基于劳务派遣协议的约定和法律法规的规定。
- 如果派遣工存在过错或不符合用工条件，用工单位应按照劳务派遣协议的约定和法律法规的规定，通过正当程序将其退回派遣单位。但这一权利仅限于用工单位行使，非用工单位无权擅自退回。
非合法退回的法律后果：
- 如果非协议主体非用工单位擅自退回派遣工，可能构成对派遣工劳动权益的侵害。派遣工有权要求退回主体承担相应的法律责任，如赔偿损失、恢复劳动关系等。
- 同时，派遣单位作为用人单位，也有权对非合法退回行为提出异议，并要求退回主体承担违约责任或侵权责任。
建议与行动：
- 如果您作为派遣工被非协议主体非用工单位退回，您应首先与派遣单位沟通，了解退回的具体原因和依据。如果认为退回行为不合法，您可以向当地劳动监察部门投诉或申请劳动仲裁，维护自己的合法权益。
- 如果您作为派遣单位或用工单位，遇到非协议主体非用工单位擅自退回派遣工的情况，您应及时与对方沟通，明确告知其退回行为的不合法性，并要求其停止侵害行为。如果对方拒不改正，您可以考虑通过法律途径解决纠纷。
特殊场景：
- 在某些特殊情况下，如派遣工与用工单位之间存在争议或纠纷，且该争议或纠纷与派遣单位无关时，非协议主体非用工单位可能试图通过退回派遣工来解决问题。但这种做法通常是不合法的，因为派遣工的退回应基于劳务派遣协议的约定和法律法规的规定，而非基于争议或纠纷的处理。
相关法规：
- 《中华人民共和国劳动合同法》第五十八条：劳务派遣单位是用人单位，应当履行用人单位对劳动者的义务。劳务派遣单位与被派遣劳动者订立的劳动合同，除应当载明本法第十七条规定的事项外，还应当载明被派遣劳动者的用工单位以及派遣期限、工作岗位等情况。
- 《劳务派遣暂行规定》第十二条：有下列情形之一的，用工单位可以将被派遣劳动者退回劳务派遣单位：（一）用工单位有劳动合同法第四十条第三项、第四十一条规定情形的；（二）用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或者经营期限届满不再继续经营的；（三）劳务派遣协议期满终止的。被派遣劳动者退回后在无工作期间，劳务派遣单位应当按照不低于所在地人民政府规定的最低工资标准，向其按月支付报酬。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。