结论：公司不能仅因工人没有劳动合同就驱赶其离开宿舍，这一行为可能涉及违法。

分析如下：

1. 劳动合同与劳动关系：

   • 即使没有签订书面的劳动合同，只要工人实际上为公司提供了劳动，并且公司接受了这种劳动，双方之间就形成了事实上的劳动关系。
   • 根据《中华人民共和国劳动合同法》的相关规定，用人单位自用工之日起即与劳动者建立劳动关系，应当订立书面劳动合同。未签订书面劳动合同的，不影响劳动关系的成立。

2. 公司驱赶工人的合法性：

   • 公司不能仅凭工人没有劳动合同就驱赶其离开宿舍。宿舍作为公司提供的福利或劳动条件的一部分，与劳动关系紧密相关。
   • 如果公司想要解除与工人的劳动关系，必须依法进行，包括提前通知、支付经济补偿等（如果符合法定解除条件且需要支付的话）。驱赶工人离开宿舍，尤其是没有合法理由的情况下，可能构成对工人合法权益的侵犯。

3. 工人的权益保护：

   • 工人有权要求公司继续履行劳动合同（如果存在的话）或支付因违法解除劳动关系而应得的赔偿。
   • 如果公司驱赶工人离开宿舍且未提供合理安置或补偿，工人可以向当地劳动监察部门投诉，或者通过劳动仲裁、诉讼等法律途径维护自己的合法权益。

4. 特殊情况下的考虑：

   • 如果工人确实存在严重违反公司规章制度或法律法规的行为，公司有权依法解除劳动关系。但即便如此，公司也应按照法定程序进行，并确保工人的基本生活需求得到满足（如提供合理的搬迁时间或安置方案）。
   • 如果宿舍是公司提供的临时住宿，且双方在劳动关系建立时或之后有明确约定宿舍的使用条件和期限，那么公司可能在特定情况下有权要求工人搬离。但这种情况需要具体分析合同条款和实际情况。

建议：

• 对于工人而言，如果遭遇公司无理驱赶，应保留好相关证据（如宿舍使用协议、工作证明、工资单等），并及时向当地劳动监察部门投诉或寻求法律援助。
• 对于公司而言，应依法与工人签订劳动合同，明确双方的权利和义务。在解除劳动关系时，应遵循法定程序，确保工人的合法权益得到保障。

后续行动：

• 如果你或你身边的人遇到了类似的情况，可以直接向我咨询，我会根据具体情况提供更详细的法律建议和帮助。