在没有签订书面租赁合同的情况下，不能随意直接赶租客走，需根据具体情况判断处理方式。具体分析如下：

1. 未签书面合同，但存在事实租赁关系
   根据《民法典》第七百零七条，租赁期限六个月以上的，应当采用书面形式。未采用书面形式的，视为不定期租赁。此时双方权利义务仍受法律保护，房东不能单方面随意解除合同或驱赶租客，否则可能构成侵权或违约。若需解除租赁关系，房东应提前合理期限通知租客（通常为30天），并给予租客搬离时间。若租客拒绝搬离，房东需通过法律途径（如起诉）解决，而非强行驱赶。

2. 未签合同且租赁期限较短（≤6个月）
   若租赁期限未超过六个月且未签订书面合同，法律未强制要求书面形式，但双方仍存在事实租赁关系。房东若想提前终止租赁，仍需与租客协商一致，或基于合理理由（如租客严重违约、房屋需自用等）通知解除合同。若租客无过错，房东强行驱赶可能涉及侵权，需承担赔偿责任。

3. 特殊情形：租客存在违约行为
   若租客存在拖欠租金、损坏房屋、擅自转租等违约行为，房东可依据《民法典》第七百二十二条、第七百一十一条等条款，要求租客承担违约责任，并有权解除合同。但即使如此，房东仍需通过合法途径（如发送书面解除通知、起诉等）解决，而非直接驱赶。

建议行动步骤：

1. 收集证据：保留租金支付记录、沟通记录、房屋使用情况等证据，证明租赁关系及租客行为；
   
2. 协商沟通：优先与租客协商，明确解除租赁的意愿及搬离时间；
   
3. 发送书面通知：若协商无果，可发送书面解除通知，注明解除理由及搬离期限；
   
4. 法律途径：若租客仍拒绝搬离，可向法院起诉，要求租客返还房屋并承担违约责任。
   

风险提示：
强行驱赶租客可能涉及非法侵入住宅、故意毁坏财物等法律风险，甚至面临行政处罚或刑事责任。建议通过合法途径解决纠纷，避免激化矛盾。

如有进一步疑问或需要具体操作指导，可随时向我咨询。