结论：在没有签订书面租赁合同的情况下，房主不能随意把人赶走。双方之间如果形成了事实租赁关系，这一关系在法律上同样受到保护，房主需依法解除租赁关系，否则将承担法律责任。
一、事实租赁关系的认定
成立条件：
- 根据《中华人民共和国民法典》的相关规定，租赁关系自租赁物交付时即成立。即使双方没有签订书面合同，但只要租客已经实际占有并使用房屋，且与房主之间按照口头约定或交易习惯等履行租赁行为，就构成了事实上的租赁关系。
法律效力：
- 事实租赁关系与书面租赁合同具有同等的法律效力。在租赁关系存续期间，房主和租客都应遵守相关法律法规，并履行各自的义务。
二、房主的权利与限制
解除权：
- 在不定期租赁关系中，房主有权随时解除合同，但必须在合理期限之前通知租客。这个“合理期限”在司法实践中一般认为提前15天到30天为宜。然而，如果双方曾口头约定了租赁期限，或者在事实租赁关系中存在其他法定情形限制（如租客对房屋进行了重大修缮或改良），房主则不能擅自解除合同。
法定条件：
- 房主想要解除租赁关系，通常需要符合法定条件，如租客存在严重违约行为（逾期支付租金、损坏房屋等）或租赁期限届满且租客未续租等。在无正当理由的情况下，房主不得强行赶走租客。
三、租客的权益保护
居住权：
- 在租赁关系存续期间，租客有权按照约定使用房屋并享有相应的居住权。这是租客的基本权益，受法律保护。
赔偿权：
- 如果房主无正当理由赶走租客，给租客造成损失的，租客有权要求房主承担违约责任，并赔偿因此造成的损失。赔偿范围包括租客因被赶走而遭受的直接经济损失，如搬家费用、临时居住费用等。
四、建议与解决方案
签订合同：
- 为避免不必要的纠纷，双方最好签订书面租赁合同，明确双方的权利和义务。这是预防纠纷的最有效方式。合同中应详细约定租赁期限、租金支付方式、房屋维修责任等关键条款。
友好协商：
- 如果双方未签订合同但已形成事实租赁关系，房主在想要解除租赁关系时应与租客进行友好协商，明确双方的权利和义务，并按照法律规定的程序进行。例如，可以协商确定一个合理的搬离期限，并给予租客一定的补偿或协助寻找新的住处。
法律途径：
- 如果房主强行赶走租客且无法提供合法理由，租客可以向法院提起诉讼，维护自身合法权益。法院将根据事实和法律规定作出公正裁决。在诉讼过程中，租客需要提供充分的证据证明双方存在租赁关系以及房主无正当理由赶走自己的事实。
总结：在没有签订书面租赁合同的情况下，房主不能随意把人赶走。双方应尊重事实租赁关系，依法行使权利和履行义务。如果发生争议，应通过友好协商或法律途径解决。如果你在这方面有任何疑问或需要进一步的法律帮助，请随时向我咨询。