结论前置：居住权人不可以把所有权人赶出去。居住权与所有权是两种不同的物权，居住权人仅享有对房屋的占有和使用权，而不具备排除所有权人使用的权利。以下是对这一问题的详细分析：

一、居住权与所有权的法律定义及关系

1. 居住权：根据《中华人民共和国民法典》的相关规定，居住权是权利人为了满足生活居住的需要，按照合同约定、遗嘱或其他合法方式，对他人享有所有权的住宅设立的占有、使用该住宅的权利。居住权具有用益物权的属性，即居住权人对住宅仅享有占有和使用的权利，不享有收益权，更不得进行出租等营利活动。

2. 所有权：所有权是物权中最完整、最充分的权利，包括占有、使用、收益和处分四项权能。房屋的所有权人对其房屋享有全面的支配权，包括决定房屋的使用方式、出租、出售等。

3. 两者关系：居住权是基于所有权而设立的一种用益物权，它并不改变房屋的所有权归属。居住权人虽然可以在一定期限内占有和使用房屋，但并不具备排除所有权人使用的权利。

二、居住权人的权利与限制

1. 权利：居住权人享有对房屋的占有和使用权，以满足其生活居住的需要。这种权利在设立时即需向登记机构申请居住权登记，自登记时起正式确立，并受到法律的严格保护。

2. 限制：

   • 不得出租：除非当事人另有约定，居住权人不得将房屋出租给他人以获取收益。
   • 不得转让或继承：居住权具有人身属性，不得转让或继承。
   • 不得损害房屋：居住权人在使用房屋时，应合理使用并妥善保管房屋，不得损害房屋的结构和设施。

三、所有权人的权利与居住权人的义务

1. 所有权人的权利：所有权人虽然设立了居住权，但仍然保留对房屋的所有权。他们有权在符合法律规定和合同约定的情况下，对房屋进行必要的维修、改造或出售等。当然，在出售房屋时，应保障居住权人的合法权益不受侵害。

2. 居住权人的义务：居住权人应遵守合同约定和法律规定，合理使用房屋并妥善保管。他们不得擅自改变房屋的结构和用途，也不得损害所有权人的利益。如果居住权人违反约定或法律规定，所有权人有权要求其承担相应的法律责任。

四、居住权消灭的情形及后果

居住权的消灭主要基于以下三种法定情形：

1. 居住权期限届满：如果合同或遗嘱中明确规定了居住权的期限，那么期限届满后，居住权自然终止。此时，居住权人应搬离房屋，所有权人恢复对房屋的完全处置权。

2. 居住权人死亡：由于居住权具有人身属性，居住权人的死亡将导致居住权的自动消灭。同样地，居住权人的继承人不得继承居住权，所有权人随后可重新规划房屋的使用。

3. 居住权人严重违约：若居住权人违反了合同中关于居住用途、转租等关键条款的约定，构成严重违约，所有权人有权通过法律途径请求法院撤销居住权。在撤销居住权后，居住权人应立即搬离房屋并承担相应的法律责任。

五、纠纷解决机制

在居住权人与所有权人之间发生争议时，应首先尝试通过协商或调解的方式解决。如果协商无果，任何一方均可选择仲裁或诉讼等法律手段来维护自己的合法权益。在诉讼过程中，法院将根据合同约定、法律规定以及双方的实际行为来综合判断并作出裁决。

总结与建议：居住权人不可以把所有权人赶出去，因为居住权并不具备排除所有权人使用的权利。如果双方之间发生争议或纠纷，应通过合法途径解决并尊重对方的合法权益。如果你在这方面还有任何疑问或需要进一步的法律帮助，请随时向我咨询。