结论：在没有签订书面租赁合同且正常交租金的情况下，房东是否有权赶人，需根据具体情况来判断。一般来说，若双方形成了事实上的租赁关系，房东不能随意赶人；但若存在特定情形，房东则可能有权要求承租人搬离。
分析说明：
事实租赁关系的认定：
- 根据《中华人民共和国民法典》的相关规定，租赁期限六个月以上的，应当采用书面形式。当事人未采用书面形式，无法确定租赁期限的，视为不定期租赁。
- 在您描述的情况下，虽然没有签订书面租赁合同，但如果您已经正常交租金并实际使用了厂房，那么您与房东之间很可能已经形成了事实上的租赁关系。
房东的权利与限制：
- 在事实租赁关系下，房东不能随意解除合同或要求承租人搬离，除非存在法定或约定的解除事由。
- 法定解除事由通常包括承租人未按照约定的方法或者未根据租赁物的性质使用租赁物，致使租赁物受到损失的；承租人未经出租人同意转租的；承租人无正当理由未支付或者迟延支付租金的，出租人要求承租人在合理期限内支付，承租人逾期不支付的等情形。
- 若不存在上述法定解除事由，且双方也没有约定解除合同的条件，那么房东无权单方面要求您搬离。
特殊情况下的房东权利：
- 如果房东需要收回房屋用于自用或者有其他合法理由，且能够证明这一点，那么房东可能有权要求您搬离。但这种情况下，房东通常需要提前通知您，并可能需承担一定的赔偿责任。
- 另外，如果租赁期限已经届满（即使未签订书面合同，但双方通过行为表明了租赁期限的，如按年交租等），且房东不同意续租，那么房东也有权要求您搬离。
行动建议：
- 与房东协商：首先，建议您与房东进行友好协商，了解房东要求搬离的具体原因，并尝试达成双方都能接受的解决方案。
- 收集证据：如果协商无果，且您认为房东的要求不合理，那么您需要收集相关证据（如租金支付记录、实际使用厂房的证据等）来证明您与房东之间存在事实上的租赁关系。
- 寻求法律帮助：如果房东坚持要求您搬离，且您认为自己的权益受到了侵害，那么您可以考虑寻求法律帮助，通过法律途径来维护自己的合法权益。
后续法律风险提示：
- 如果房东在没有合法理由的情况下强行要求您搬离，并采取了断水、断电等非法手段，那么您有权向相关部门投诉或报警处理。
- 如果因为房东的行为导致您遭受了经济损失（如搬迁费用、停业损失等），那么您有权要求房东承担相应的赔偿责任。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。