核心结论：房主以中介未付款为由要求您搬家，您有权拒绝，具体可从以下角度分析：

1. 合同相对性原则
   根据《民法典》第465条，房屋租赁合同仅约束您与房主双方，中介是否向房主付款属于房主与中介之间的委托合同关系，与您无关。房主无权以第三方（中介）违约为由单方解除或变更与您的租赁合同。

2. 房主可能构成违约
   若租赁合同未约定”中介未付款房主可解除合同”等特殊条款，房主强行要求您搬离属于根本违约。您有权要求房主继续履行合同（如提供房屋使用权），或主张其承担违约责任（如赔偿搬家损失、临时住宿费用等）。

3. 应对建议

   • 书面留存证据：立即通过微信/邮件等方式要求房主出具书面通知，明确其要求搬离的理由及期限，同时保留租赁合同、付款凭证等证据。
     
   • 拒绝搬离并主张权利：向房主明确表示拒绝无理要求，强调合同效力及自身合法权益。若房主采取断水断电等措施，可报警处理并留存证据。
     
   • 协商或诉讼解决：
     
     • 协商：可建议房主通过法律途径向中介追讨欠款，您愿意配合提供相关证据；
       
     • 诉讼：若房主坚持驱赶，您可向法院起诉要求确认合同有效、房主继续履行合同，或主张解除合同并索赔（如已支付租金、押金损失等）。

4. 特殊情形提示
   若租赁合同系通过中介”居间”签订（即中介仅提供信息撮合服务），且房主能证明您明知中介未付款仍入住（如您与中介串通），则可能涉及共同侵权。但此情形需房主举证，您无需主动担忧。

行动建议：立即整理租赁合同、付款记录等材料，向房主发送书面函件重申合同效力。若房主持续骚扰，可委托我起草律师函或直接提起诉讼。如有进一步细节需要分析，可直接向我补充提问。