非用工单位且非协议主体把派遣工退回派遣单位，这一行为通常是不合法的。以下从不同角度对此问题进行分析：
一、法律主体与权限
用工单位与派遣单位的关系：
- 在劳务派遣关系中，用工单位与派遣单位之间通过劳务派遣协议明确双方的权利和义务。
- 用工单位根据协议约定，有权在特定情况下将派遣工退回派遣单位，如派遣工不符合录用条件、严重违反用工单位规章制度等。
非协议主体的权限：
- 非用工单位且非协议主体（如与派遣工无直接劳动关系的第三方）通常没有权限将派遣工退回派遣单位。
- 这种行为可能构成对派遣工劳动权益的侵犯，以及对劳务派遣协议的违反。
二、合法退回的情形
根据《劳动合同法》第六十五条及相关规定，用工单位可以在以下情形下将派遣工退回派遣单位：
派遣工过错：
- 如派遣工有本法第三十九条和第四十条第一项、第二项规定情形的（如严重违反用人单位的规章制度、严重失职给用人单位造成重大损害等），用工单位可以将其退回。
客观情况变化：
- 如劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的，用工单位也可以考虑退回派遣工。但这种情况较为特殊，且需要遵循法定程序。
协议终止或解除：
- 劳务派遣协议期满或双方协商一致解除协议时，用工单位自然不再需要派遣工，可以将其退回。
三、非合法退回的法律后果
对派遣工的影响：
- 非合法退回可能导致派遣工失去工作机会，造成经济损失。
- 派遣工有权要求用工单位或派遣单位承担相应的法律责任，如支付经济补偿金等。
对用工单位和派遣单位的法律责任：
- 非合法退回行为可能构成对劳务派遣协议的违反，用工单位或派遣单位可能需要承担违约责任。
- 如果该行为侵犯了派遣工的合法权益，还可能面临劳动行政部门的处罚或民事赔偿。
四、建议与措施
对于用工单位和派遣单位：
- 应严格遵守劳务派遣协议和相关法律法规，确保退回行为的合法性。
- 在退回派遣工前，应充分评估法律风险，并遵循法定程序。
对于派遣工：
- 如遇到非合法退回情况，应及时向劳动行政部门投诉或寻求法律援助。
- 保留相关证据，以便在必要时维护自己的合法权益。
总结来说，非用工单位且非协议主体把派遣工退回派遣单位通常是不合法的。用工单位和派遣单位应严格遵守相关法律法规和协议约定，确保退回行为的合法性。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。