可以报警，但需根据具体情况判断报警的合理性与必要性。以下从不同角度为你详细分析：

1. 若借款人存在威胁、骚扰等违法行为
   如果借款人发送的信息中包含威胁、恐吓内容（例如“不去你家就怎样”“不还钱就闹事”等），或频繁发送信息干扰你正常生活，甚至扬言采取暴力手段，这已涉嫌违反《治安管理处罚法》第四十二条（威胁他人人身安全、多次发送淫秽、侮辱、恐吓或其他信息干扰他人正常生活）。此时你完全有权报警，警方会依法对借款人进行警告、罚款或拘留等处罚。

2. 若借款人仅表示“要去你家”但无威胁行为
   如果借款人只是单纯告知“中午要去你家”，未提及威胁、骚扰或非法目的（例如讨债时未使用暴力、辱骂等手段），从法律角度，这属于民事纠纷范畴，警方可能不会直接介入处理。但你可以通过以下方式应对：

   • 明确拒绝：回复借款人“不同意其上门，要求通过合法途径（如协商、诉讼）解决债务问题”；
     
   • 保留证据：保存借款人发送的信息、通话记录等，以备后续维权；
     
   • 联系社区或物业：请求协助劝阻借款人上门，避免冲突升级。

3. 若借款人上门后实施违法行为
   如果借款人上门后采取暴力、威胁、非法拘禁、毁坏财物等行为，这已涉嫌犯罪（如故意伤害罪、非法侵入住宅罪等）。此时应立即报警，并尽量保护自身安全（如躲避到安全区域、避免正面冲突），同时保留现场证据（如拍照、录像、录音）。

建议：无论借款人是否构成违法，你都应优先确保自身安全。若感到不安或担心冲突，可提前联系亲友陪同，或向警方报备情况（即使不立案，警方也可记录在案并提供协助）。若债务问题复杂，可进一步向我咨询具体解决方案。