工厂将工人退给派遣公司后，是否可以不让工人继续住宿舍，需分情况讨论：

1. 若宿舍为工厂提供且与派遣无关：

   • 法律背景：宿舍作为工厂提供的福利设施，其使用权通常与劳动关系或用工关系紧密相连。当工厂将工人退给派遣公司时，若宿舍的使用权是基于工厂与工人之间的劳动关系而赋予的，那么随着劳动关系的变更（即工人被退回派遣公司），工厂有权根据内部规定或宿舍使用协议，决定是否继续允许工人使用宿舍。
   • 建议：工厂应提前与工人沟通，明确宿舍使用权的变更情况，并遵循相关法律法规及内部规定，确保处理过程合法合规。同时，工厂也应考虑工人的实际需求，如提供合理的过渡期或协助工人寻找其他住宿等。

2. 若宿舍为派遣公司提供或与派遣协议相关：

   • 法律背景：如果宿舍的使用权是由派遣公司提供的，或者与派遣协议中的条款相关联，那么工厂将工人退给派遣公司后，宿舍的使用权问题应由派遣公司来决定。派遣公司应根据派遣协议及自身规定，处理工人的宿舍使用权问题。
   • 建议：派遣公司应仔细审查派遣协议中的相关条款，明确宿舍使用权的归属及变更条件。在处理工人宿舍使用权问题时，派遣公司应遵循公平、合理的原则，确保工人的合法权益不受侵害。同时，派遣公司也应与工厂保持沟通，共同协商解决可能出现的宿舍使用权问题。

3. 若宿舍使用权与劳动合同或派遣协议无明确约定：

   • 法律背景：在缺乏明确约定的情况下，宿舍使用权的问题可能变得复杂。此时，应参考相关法律法规及行业惯例，结合实际情况进行判断。一般来说，如果宿舍是作为劳动关系或用工关系的一部分而提供的，那么随着劳动关系的变更，宿舍使用权也可能相应变更。
   • 建议：在这种情况下，工厂和派遣公司应积极与工人进行沟通协商，寻求双方都能接受的解决方案。如果协商无果，工人可以依法向劳动争议调解仲裁机构申请调解或仲裁，以维护自己的合法权益。

额外提醒：

• 工厂和派遣公司在处理工人宿舍使用权问题时，应始终遵循法律法规的规定，确保处理过程合法合规。
• 工人在面对宿舍使用权变更时，也应了解自己的权益和义务，积极与工厂和派遣公司进行沟通协商，寻求合理的解决方案。

后续行动建议：

• 如果您作为工人或工厂/派遣公司的代表，在处理宿舍使用权问题时遇到法律难题或需要进一步的法律建议，请直接向我咨询。我将根据您的具体情况，提供专业、全面的法律服务。