结论：工厂把工人非法退给派遣公司后，是否可以不让工人住宿舍，不能一概而论，需要分情况讨论。
分析如下：
若宿舍是工厂提供的福利，且与劳动合同或派遣协议有明确约定：
- 在这种情况下，宿舍通常被视为劳动合同或派遣协议的一部分，是工厂对工人的一种福利承诺。如果工厂非法将工人退给派遣公司，且没有按照约定或法律规定处理宿舍问题，那么工厂或派遣公司可能无权单方面取消工人的宿舍居住权。工人有权依据合同或协议要求继续居住宿舍，或者要求相应的补偿。
若宿舍是工厂的临时安排，且未在劳动合同或派遣协议中明确约定：
- 如果宿舍只是工厂为了方便工人工作而做出的临时安排，并未在劳动合同或派遣协议中明确约定为工人的福利或权利，那么工厂在非法将工人退给派遣公司后，可能有权决定是否继续提供宿舍。但即便如此，工厂或派遣公司也应遵循公平、合理的原则，不得无故剥夺工人的基本生活条件，尤其是在工人没有其他合适住宿选择的情况下。
从法律责任的角度考虑：
- 工厂非法将工人退给派遣公司，可能涉及违反劳动合同法、劳务派遣暂行规定等相关法律法规。如果这一行为导致工人权益受损，工人有权向劳动监察部门投诉或提起劳动仲裁、诉讼等法律程序来维护自己的权益。在处理宿舍问题时，也应遵循这一原则，即不得因工厂的违法行为而损害工人的合法权益。
法律建议：
- 对于工人而言，如果遭遇此类情况，首先应查看自己的劳动合同和派遣协议，了解宿舍问题的具体约定。
- 如果合同或协议中有明确约定，且工厂或派遣公司违反了约定，工人可以向劳动监察部门投诉或提起劳动仲裁、诉讼等法律程序来维护自己的权益。
- 如果合同或协议中没有明确约定，工人可以与工厂或派遣公司进行协商，寻求合理的解决方案。如果协商无果，也可以考虑通过法律途径来维护自己的权益。
可能后果：
- 如果工厂或派遣公司非法剥夺工人的宿舍居住权，且工人能够证明自己的权益受到了损害，那么工厂或派遣公司可能需要承担相应的法律责任，包括赔偿工人的损失等。
总之，工厂把工人非法退给派遣公司后，宿舍问题的处理需要依据具体情况和合同约定来判断。工人应了解自己的权益和合同约定，并在必要时寻求法律帮助来维护自己的权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。