案外人非用工单位把派遣工退回派遣单位，这一行为是否合法，需分情况讨论：
若案外人与派遣工、派遣单位或用工单位之间存在明确的约定或协议：
- 在这种情况下，如果约定或协议中明确规定了案外人在特定条件下有权将派遣工退回派遣单位，并且这些条件在本案中已经满足，那么案外人的行为可能是合法的。这种合法性来源于合同自由原则，即各方当事人在不违反法律强制性规定的前提下，可以自由约定各自的权利和义务。
若案外人与派遣工、派遣单位或用工单位之间不存在明确的约定或协议：
- 在没有明确约定或协议的情况下，案外人通常没有直接的权利将派遣工退回派遣单位。劳务派遣关系主要涉及派遣单位、用工单位和派遣工三方，案外人并非这一法律关系的直接参与者，因此其无权单方面改变或终止这一关系。
- 如果案外人的行为导致了派遣工的权益受损，派遣工有权要求派遣单位或用工单位承担相应的法律责任，并可能根据具体情况向案外人主张侵权责任。
法律背景与建议：
- 劳务派遣关系：劳务派遣是一种特殊的用工方式，其中派遣单位与派遣工签订劳动合同，并将派遣工派遣至用工单位从事劳动。用工单位与派遣工之间不存在直接的劳动合同关系，但用工单位对派遣工的工作表现、劳动纪律等负有管理责任。
- 合同自由原则：在民事法律关系中，各方当事人有权在法律允许的范围内自由约定各自的权利和义务。然而，这种自由并非无限制的，它必须遵守法律的强制性规定和公序良俗。
- 建议：对于派遣工而言，如果遭遇案外人非法退回的情况，应首先与派遣单位或用工单位沟通，了解具体情况并寻求解决方案。如果无法达成一致，可以考虑通过法律途径维护自己的权益，如向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。
可能的法律后果：
- 如果案外人的行为被认定为非法，其可能需要承担侵权责任，包括赔偿派遣工因此遭受的损失（如工资损失、社会保险损失等）。
- 同时，派遣单位或用工单位也可能因管理不善或违反劳务派遣协议而承担相应的法律责任。
总结与进一步思考：
- 劳务派遣关系涉及多方主体和复杂的法律关系，因此在处理相关问题时需要谨慎对待。
- 对于派遣工而言，了解自己的权益和义务以及劳务派遣关系的法律框架是非常重要的。
- 如果遇到类似问题，建议及时咨询专业律师以获取更具体的法律建议和指导。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。