结论前置：是否可以直接赶走来家里找前妻讨债的人，需分情况讨论，具体如下：

1. 若讨债行为合法且未扰乱正常生活秩序
   如果讨债人持有合法债权凭证（如借条、转账记录等），且仅通过和平方式（如敲门沟通、等待前妻出现）主张权利，未实施威胁、辱骂、破坏财物等行为，此时您无权直接暴力驱赶。根据《民法典》第1032条，自然人享有隐私权与住宅安宁权，但讨债人若未侵犯上述权利（如未强行闯入、未长时间滞留干扰生活），其合法讨债行为受法律保护。您可建议前妻主动协商还款计划，或通过法律途径（如诉讼、调解）解决债务纠纷。

2. 若讨债行为涉嫌违法或侵犯权益
   若讨债人实施以下行为，您有权采取合理措施制止甚至报警：

   • 非法侵入住宅：根据《刑法》第245条，未经允许强行闯入他人住宅或经要求退出仍拒不退出，可能构成非法侵入住宅罪，您可立即报警并要求警方处理；
     
   • 骚扰或威胁：若讨债人通过跟踪、纠缠、恐吓等方式干扰您或前妻的正常生活，违反《治安管理处罚法》第42条，可处5-10日拘留并罚款；
     
   • 限制人身自由：若讨债人扣押、拘禁前妻或您，涉嫌非法拘禁罪（《刑法》第238条），需第一时间报警并保留证据（如录音、录像、证人证言）。

3. 特殊情形：债务性质影响处理方式

   • 夫妻共同债务：若债务属于您与前妻婚姻关系存续期间的共同债务（如为家庭生活所负），您可能需承担连带清偿责任。此时讨债人主张权利时，您需核实债务性质，避免因逃避责任引发更大纠纷；
     
   • 个人债务：若债务为前妻个人债务（如婚前债务、赌博债务等），您无偿还义务，但需通过法律程序（如离婚协议、法院判决）明确责任划分，避免讨债人误认为您需担责。

行动建议：

• 优先核实债务合法性（如要求讨债人出示债权凭证）；
  
• 若对方行为合法但影响生活，可协商更换沟通场所（如约定公共场所见面）；
  
• 若对方行为违法，立即报警并保留证据（如拍摄现场视频、记录讨债人身份信息）；
  
• 建议前妻通过法律途径解决债务问题（如协商还款、申请个人破产等）。
  

如有进一步疑问，可直接向我咨询具体法律问题。