结论：在没有租赁合同的情况下，是否可以直接赶走租户，不能一概而论，需要分情况讨论。
分析：
存在事实租赁关系：
- 即便没有书面的租赁合同，如果双方已经实际履行了租赁行为（例如，租户已经支付了租金，房东已经将房屋交付给租户使用），那么根据《民法典》的相关规定，双方之间仍然形成了事实上的租赁关系。
- 在这种情况下，房东不能随意赶走租户。如果房东希望终止租赁关系，应当提前通知租户，并按照法律规定或双方约定处理相关事宜。如果租户拒绝搬离，房东可能需要通过法律途径（如起诉）来解决问题。
不存在事实租赁关系或租赁关系已终止：
- 如果双方没有实际履行租赁行为，或者租赁关系已经通过协商、法院判决等方式终止，那么房东在符合法律规定的情况下，可以要求租户搬离。
- 但即便如此，房东也应当遵循合法、合理的程序，避免采取暴力、威胁等非法手段。如果租户拒绝搬离，房东同样可能需要通过法律途径来维护自己的权益。
法律建议：
- 收集证据：无论哪种情况，房东都应当尽可能收集与租赁关系相关的证据，如租金支付记录、房屋交付记录、双方沟通记录等，以备不时之需。
- 协商解决：在可能的情况下，房东应当首先尝试与租户进行协商，寻求和平解决争议的方式。
- 法律途径：如果协商无果，房东可以考虑通过法律途径来解决问题。这可能包括向法院提起诉讼，要求确认租赁关系的存在或终止，并要求租户搬离等。
可能后果：
- 如果房东在没有合法依据的情况下强行赶走租户，可能会面临租户的投诉、报警或起诉等法律后果。这不仅可能给房东带来经济损失，还可能影响其声誉和信用记录。
- 如果租户拒绝搬离且房东通过法律途径解决问题，法院可能会根据具体情况判决租户搬离，并可能要求租户承担一定的法律责任（如赔偿损失等）。
总结与进一步思考：
在没有租赁合同的情况下处理与租户的关系确实比较复杂。为了避免不必要的法律纠纷和经济损失，我建议房东在处理此类问题时务必谨慎行事，并尽可能寻求专业法律意见。如果你有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。