厂里把工人退回劳务派遣单位是否合法，需根据具体情况判断，不能一概而论。以下从不同角度进行分析：
一、合法退回的情形
符合劳务派遣协议约定：
- 如果劳务派遣协议中明确约定了退回的条件和程序，且厂里在退回工人时严格遵守了这些约定，那么这种退回行为是合法的。例如，协议中可能约定了因工人不胜任工作、严重违反规章制度等情形可以退回。
符合法定退回情形：
- 根据《劳务派遣暂行规定》第十二条，有下列情形之一的，用工单位可以将被派遣劳动者退回劳务派遣单位：
- 用工单位有劳动合同法第四十条第三项（劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的）、第四十一条（依照企业破产法规定进行重整的；生产经营发生严重困难的；企业转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的；其他因劳动合同订立时所依据的客观经济情况发生重大变化，致使劳动合同无法履行的）规定情形的；
- 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或者经营期限届满不再继续经营的；
- 劳务派遣协议期满终止的。
- 在这些法定情形下，厂里将工人退回劳务派遣单位是合法的。
二、非法退回的情形
无正当理由退回：
- 如果厂里没有合理的理由，如工人并未违反规章制度、未不胜任工作，也未出现法定退回情形，而仅仅因为厂里自身原因（如调整生产计划、减少用工数量等）将工人退回劳务派遣单位，这种行为可能是非法的。
违反劳务派遣协议约定退回：
- 如果劳务派遣协议中未约定退回条件或程序，或者厂里在退回工人时未遵守协议中的约定，如未提前通知、未支付经济补偿等，这种退回行为也可能是非法的。
三、法律后果与建议
- 法律后果：如果厂里非法退回工人，可能面临劳动争议仲裁或诉讼的风险，需要承担相应的法律责任，如支付赔偿金、继续履行劳动合同等。
- 建议：
- 对于厂里而言，在退回工人前应仔细审查劳务派遣协议和相关法律法规，确保退回行为的合法性。
- 对于工人而言，如果认为厂里的退回行为非法，可以与劳务派遣单位协商解决，协商不成的可以向劳动争议仲裁委员会申请仲裁，对仲裁裁决不服的还可以向人民法院提起诉讼。
如有具体法律问题或需要进一步的法律帮助，请直接向我咨询。