工厂一般没有权利随便让员工退宿，但具体需视情况而定。以下是从不同角度对这一问题的详细分析：
一、劳动合同与规章制度的角度
劳动合同约定：
- 如果劳动合同中明确规定了员工享有住宿的权利，或者工厂提供了住宿作为劳动合同的一部分，那么工厂就不能随意要求员工退宿。除非劳动合同中有特别约定，如员工违反工厂规定或宿舍管理规定等情况下工厂有权要求退宿，否则工厂的行为可能构成违约。
工厂规章制度：
- 工厂的规章制度应当合法、合理，并且经过民主程序制定，向员工公示或告知。如果规章制度中规定了员工退宿的条件和程序，且这些规定不违反法律法规的强制性规定，那么工厂可以依据规章制度要求员工退宿。但即便如此，工厂也应当确保规章制度的执行过程合法、公正，避免滥用权力。
二、法律法规的角度
劳动法保护：
- 根据《中华人民共和国劳动法》及相关法律法规，员工享有劳动权益，包括获得劳动报酬、休息休假、劳动安全卫生保护等。虽然直接的法律条文可能并未明确提及住宿权，但住宿作为员工工作生活的一部分，往往与员工的劳动权益密切相关。因此，工厂在要求员工退宿时，应当充分考虑员工的合法权益，避免侵犯员工的劳动权益。
宿舍管理规定：
- 如果工厂提供了宿舍，并制定了宿舍管理规定，那么这些规定应当合法、合理，并且不得侵犯员工的合法权益。例如，宿舍管理规定中不得包含无故要求员工退宿的条款。如果工厂违反宿舍管理规定或法律法规要求员工退宿，员工有权拒绝并可以向相关部门投诉或寻求法律援助。
三、实际操作中的建议
沟通协商：
- 如果工厂确实需要员工退宿，应当首先与员工进行沟通协商，说明退宿的原因和必要性，并尽量为员工提供合理的解决方案。例如，工厂可以协助员工寻找其他住宿地点或提供一定的经济补偿等。
依法处理：
- 如果沟通协商无果，工厂应当依法处理退宿事宜。如果工厂认为员工违反了宿舍管理规定或劳动合同中的相关条款，应当按照规定的程序进行处理，并确保处理过程合法、公正。如果员工对处理结果有异议，可以向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。
关注员工权益：
- 在处理退宿事宜时，工厂应当始终关注员工的合法权益，避免侵犯员工的劳动权益和人身权益。如果工厂的行为涉嫌违法或侵犯员工权益，员工有权向相关部门投诉或寻求法律援助。
总结来说，工厂一般没有权利随便让员工退宿，除非劳动合同或工厂规章制度中有明确约定，并且这些约定不违反法律法规的强制性规定。在处理退宿事宜时，工厂应当与员工进行沟通协商，依法处理，并关注员工的合法权益。如果员工对工厂的处理结果有异议，可以向劳动争议仲裁委员会申请仲裁或向人民法院提起诉讼。如果你在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。