业主委员会在未经业主大会授权的情况下，是不能擅自决定赶走物业公司的。这是因为，业主大会是代表全体业主利益的最高决策机构，而业主委员会只是其执行机构。因此，任何关于选聘、解聘物业公司等重大事项，都必须经过业主大会的讨论和决策，业主委员会无权单独作出决定。

如果业主委员会确实想要更换物业公司，应当首先召集业主大会，就相关事宜进行讨论和投票。只有在获得业主大会的明确授权后，业主委员会才能与物业公司进行协商，并按照法定程序完成解聘和选聘工作。

此外，如果业主对业主委员会的决定不满，或者认为其行为侵犯了自己的合法权益，可以通过法律途径进行维权。例如，可以向相关部门投诉、申请仲裁或者提起诉讼等。

总之，业主委员会在处理与物业公司相关的事务时，必须严格遵守法律法规和业主大会的决策，以确保全体业主的合法权益得到保障。