在没有签订租赁合同的情况下，是否可以随时赶人走（或租客是否可以随时搬走），这并不是一个简单的是非问题，而是需要根据具体情况来综合判断。以下是对此问题的详细分析：
一、法律视角下的不定期租赁
事实租赁关系的认定：
- 即便没有签订书面租赁合同，只要双方存在实际的租赁行为，如一方交付了房屋，另一方实际入住并支付了租金等费用，就构成了事实上的租赁关系。
- 根据《中华人民共和国民法典》的相关规定，租赁期限六个月以上的，应当采用书面形式。未采用书面形式且无法确定租赁期限的，视为不定期租赁。
不定期租赁中的权利与义务：
- 在不定期租赁中，无论是租客还是房东，都享有任意解除权，但必须在合理期限之前通知对方。这个合理期限通常考虑租金支付周期、寻找新租客或新住所的难易程度等因素，一般可能被认为是提前15天至30天的通知时间。
二、实际操作中的考量
与房东的沟通：
- 租客应优先尝试与房东进行沟通，说明搬走的原因和计划，争取达成书面或口头的解约协议。这有助于减少不必要的纠纷和损失。
提前通知的重要性：
- 即使是不定期租赁，租客也应提前一定期限（如一个月）通知房东，以便房东有时间寻找新租客，减少因房屋空置而产生的损失。
物品处理与费用结算：
- 搬走前，租客需要结清房租、水电费等费用，并妥善处理个人物品，避免遗留问题引发纠纷。
三、特殊情况下的处理
房屋存在安全隐患或严重质量问题：
- 如果房屋存在安全隐患或严重影响居住的质量问题，租客可以依据法律规定要求解除合同，但需要提供相应的证据来支持自己的主张。
房东违约在先：
- 如果房东未按约定维修房屋、擅自提高租金等，租客有权解除合同并要求赔偿因此造成的损失。
四、对房东的限制
- 即便未签订书面租赁合同，只要双方的租赁关系是成立的，房东也不能随意要求租客搬离。房东在解除合同时，也必须提前在合理期限内通知租客。
结论与建议
综上所述，没有签订租赁合同并不意味着可以随时赶人走或租客可以随时搬走。具体能否随时解除租赁关系，需要根据双方是否存在事实租赁关系、是否对租赁期限有明确约定（无论是口头还是书面）、以及租赁期限的长短等因素来综合判断。
建议：为了避免不必要的法律纠纷和损失，无论是房东还是租客，在租赁关系中都应该尽量签订书面合同，明确双方的权利和义务。如果确实没有签订书面合同，双方也应该保持沟通，尽量协商达成一致的解决方案。在解除租赁关系时，务必提前通知对方，并妥善处理相关事宜。