遇到他人非法入侵住宅的情况，您有权采取合法措施进行驱逐，核心结论如下：

1. 优先确保人身安全，避免直接冲突
   非法入侵者可能存在暴力倾向或精神异常，直接对抗可能引发肢体冲突甚至刑事案件。建议第一时间退至安全区域（如邻居家、室外），通过语言警告（如“你已非法侵入，请立即离开，否则报警”）表明立场，同时避免激怒对方。

2. 立即报警并固定证据

   • 报警：拨打110说明“有人非法侵入住宅”，强调“对方拒绝离开且可能威胁人身安全”，要求警方尽快出警。根据《治安管理处罚法》第40条，非法侵入他人住宅可处10-15日拘留并罚款；若伴随暴力行为，可能涉嫌《刑法》第245条非法侵入住宅罪（处3年以下有期徒刑或拘役）。
     
   • 取证：若条件允许，用手机拍摄入侵者外貌、行为（如破坏财物、持械等），记录对话内容；保留现场痕迹（如被推倒的门、翻乱的物品）。警方到场后，要求出具《受案回执》并跟进处理进度。

3. 警方到场后的合法处置
   警方有权要求入侵者立即离开，若对方拒不配合，可采取强制带离措施。若入侵者涉嫌犯罪（如盗窃、伤害），警方会依法刑事立案。您需配合提供证人证言、监控录像等证据，推动案件处理。

4. 特殊情形下的自力救济边界

   • 紧急避险：若入侵者持凶器威胁生命安全，您可依据《刑法》第20条行使正当防卫权，采取必要防卫措施（如夺刀、制服），但需符合“防卫行为与侵害程度相当”原则，避免防卫过当。
     
   • 限制行为：禁止私自拘禁、殴打入侵者，否则可能涉嫌非法拘禁罪或故意伤害罪。即使对方先动手，反击也需在“制止不法侵害”的必要范围内。

后续建议：

• 若入侵者多次骚扰，可向法院申请“人身安全保护令”，禁止其接近住宅及您本人。
  
• 检查门窗锁具、安装监控设备，降低再次被侵入的概率。
  

如有进一步疑问（如证据收集细节、报警流程优化等），可直接向我提问，我会结合具体场景为您分析。