您有权拒绝共同承担非共同债务，且对方无权因抵押贷款赶您走。若遭遇此类情况，您可以通过法律途径维护自身权益，具体分析如下：

1. 关于债务承担问题
   根据《民法典》第1064条，夫妻共同债务需满足“共债共签”或“事后追认”条件，或用于家庭共同生活、生产经营。若房屋抵押贷款未用于家庭共同生活（如男方私自用于个人投资、偿还赌债等），且您未在贷款合同上签字或事后追认，该债务属于男方个人债务，您无需共同偿还。
   操作建议：立即收集贷款资金流向证据（如银行流水、转账记录），证明资金未用于家庭共同开支；若男方主张债务为共同债务，需由其举证资金用途。

2. 关于被赶走的问题
   若房屋为夫妻共同财产（如婚后购买），男方无权单方面驱赶您。根据《民法典》第1087条，离婚时夫妻共同财产由双方协议处理；协议不成的，法院根据财产具体情况，按照照顾子女、女方和无过错方权益的原则判决。若房屋为男方婚前个人财产，但抵押贷款发生在婚后，您仍有权主张分割抵押增值部分或要求经济补偿。
   操作建议：保留房屋产权证明、购房合同等证据；若被强行驱赶，可报警处理并留存出警记录，后续可据此主张男方侵犯居住权。

3. 关于维权路径

   • 协商解决：与男方沟通，明确拒绝承担非共同债务，并要求其停止驱赶行为；
     
   • 诉讼维权：若协商无果，可向法院提起离婚诉讼，同时主张：
     
     • 确认债务性质（个人/共同）；
       
     • 分割夫妻共同财产（包括房屋抵押后的剩余价值）；
       
     • 要求男方赔偿因驱赶行为造成的损失（如临时居住费用、精神损害抚慰金等）。
       特别提醒：若男方存在转移、隐匿财产行为，可申请法院财产保全，防止其恶意逃债。

行动建议：立即整理贷款合同、资金流向证据、房屋产权证明等材料，并咨询专业律师制定具体方案。若需进一步协助，可直接向我提问，我会结合您的具体情况提供详细指导。