结论：是否可以把兄弟赶出去，不能仅凭户主名字是自己的就简单决定，这需要结合房屋产权归属、兄弟居住的法律依据以及是否存在特殊情况等多方面因素来综合判断。

分析如下：

1. 房屋产权归属：

   • 如果房屋是您个人所有，即产权证上只有您的名字，且您兄弟的居住没有合法的依据（如租赁合同、借住协议等），那么从法律上讲，您有权要求他搬离。但即便如此，也建议通过协商或法律途径（如起诉要求排除妨害）来和平解决，避免直接冲突。
   • 如果房屋是共有财产，比如您与兄弟共同继承或共同购买，那么您就不能单方面要求他搬离，因为他对房屋也享有相应的权益。

2. 兄弟居住的法律依据：

   • 如果您兄弟的居住是基于某种法律关系，如租赁、借住等，并且这种关系在法律上是有效的，那么您就不能随意要求他搬离，除非这种法律关系已经终止或存在其他法定解除事由。
   • 例如，如果您兄弟是通过租赁合同居住在房屋中，那么您需要按照合同约定的条件和程序来解除合同，才能要求他搬离。

3. 特殊情况：

   • 如果您兄弟是未成年人、无民事行为能力人或限制民事行为能力人，且没有其他合适的居住场所，那么您作为亲属或监护人，可能需要承担一定的照顾义务，不能简单地要求他搬离。
   • 另外，如果房屋是您兄弟的唯一住所，且他因经济困难等原因无法立即找到其他住所，那么您在要求他搬离时也需要考虑他的实际情况，给予一定的宽限期或帮助。

法律建议：

• 在处理此类问题时，建议您首先与兄弟进行协商，尝试通过和平的方式解决问题。
• 如果协商无果，您可以咨询专业的法律人士（比如我，林嘉鑫律师，专注于婚姻家庭、遗产继承领域），了解具体的法律程序和可能面临的法律后果。
• 在必要时，您可以通过法律途径来维护自己的权益，如起诉要求排除妨害或解除租赁合同等。但请注意，法律程序可能耗时较长且成本较高，因此应谨慎选择。

可能后果：

• 如果您未经合法程序就强行要求兄弟搬离，可能会引发家庭矛盾甚至法律纠纷。
• 如果您兄弟的居住有合法依据或存在特殊情况，您强行要求他搬离可能会面临法律上的不利后果，如被要求赔偿损失或承担其他法律责任。

总之，在处理此类问题时，请务必谨慎行事，并考虑咨询专业法律人士的意见。如果您有任何疑问或需要进一步的帮助，请随时向我咨询。