工厂不可以无故把工人退回派遣公司。以下从不同角度为你详细分析：
法律角度
根据《劳务派遣暂行规定》第十二条，有下列情形之一的，用工单位可以将被派遣劳动者退回劳务派遣单位：
- 用工单位有劳动合同法第四十条第三项、第四十一条规定情形的：
- 劳动合同法第四十条第三项规定，劳动合同订立时所依据的客观情况发生重大变化，致使劳动合同无法履行，经用人单位与劳动者协商，未能就变更劳动合同内容达成协议的，用人单位提前三十日以书面形式通知劳动者本人或者额外支付劳动者一个月工资后，可以解除劳动合同。例如，工厂因为市场环境变化，产品转型，原有的生产线全部拆除，导致与劳务派遣工人的劳动合同无法继续履行，且双方无法就变更劳动合同内容达成一致，此时工厂可以将工人退回派遣公司。
- 劳动合同法第四十一条规定，有下列情形之一，需要裁减人员二十人以上或者裁减不足二十人但占企业职工总数百分之十以上的，用人单位提前三十日向工会或者全体职工说明情况，听取工会或者职工的意见后，裁减人员方案经向劳动行政部门报告，可以裁减人员：（一）依照企业破产法规定进行重整的；（二）生产经营发生严重困难的；（三）企业转产、重大技术革新或者经营方式调整，经变更劳动合同后，仍需裁减人员的；（四）其他因劳动合同订立时所依据的客观经济情况发生重大变化，致使劳动合同无法履行的。比如工厂因为经营不善，连续亏损，面临破产重整，需要裁减人员，这种情况下可以将劳务派遣工人退回派遣公司。
- 用工单位被依法宣告破产、吊销营业执照、责令关闭、撤销、决定提前解散或者经营期限届满不再继续经营的：当工厂出现这些法定情形时，其用工主体资格丧失，自然可以将劳务派遣工人退回派遣公司。例如工厂因为违法经营被吊销营业执照，无法继续经营，就可以把工人退回。
- 劳务派遣协议期满终止的：如果工厂与派遣公司签订的劳务派遣协议到期，且双方不再续签，那么工厂可以将工人退回派遣公司。
如果工厂没有上述法定理由，无故将工人退回派遣公司，就属于违法行为。
工人权益保护角度
如果工厂无故退回工人，工人可以采取以下措施维护自己的合法权益：
- 与工厂和派遣公司协商：工人可以先尝试与工厂和派遣公司进行沟通协商，了解退回的具体原因，要求工厂说明无故退回的依据。如果工厂无法提供合理合法的理由，工人可以要求继续在工厂工作或者获得相应的赔偿。
- 向劳动监察部门投诉：工人可以向当地劳动监察部门投诉工厂的违法行为。劳动监察部门会依法对工厂进行调查处理，责令工厂改正违法行为，如果给工人造成了损失，还会要求工厂承担赔偿责任。
- 申请劳动仲裁：工人还可以向劳动争议仲裁委员会申请劳动仲裁。在仲裁过程中，工人需要提供相关证据证明工厂无故退回自己，如工作记录、与工厂和派遣公司的沟通记录等。仲裁委员会会根据事实和法律作出裁决，维护工人的合法权益。
派遣公司责任角度
当工厂将工人退回派遣公司时，派遣公司也有相应的责任和义务：
- 重新派遣：如果工人没有过错，派遣公司应当为工人重新派遣适合的工作岗位。例如，派遣公司可以与其他有需求的用工单位联系，将工人派遣到新的岗位工作。
- 支付工资和福利：在工人等待重新派遣期间，派遣公司应当按照不低于当地最低工资标准的标准向工人支付工资，并依法为工人缴纳社会保险等福利。
- 解除劳动合同的补偿：如果派遣公司无法为工人重新派遣工作，且与工人协商一致解除劳动合同的，派遣公司应当按照法律规定向工人支付经济补偿。经济补偿按劳动者在本单位工作的年限，每满一年支付一个月工资的标准向劳动者支付。六个月以上不满一年的，按一年计算；不满六个月的，向劳动者支付半个月工资的经济补偿。
如果你遇到了工厂无故退回的情况，或者有其他相关法律问题，都可以直接向我咨询。