面对要帐的人来家里不走的情况，首先你要明确的是，这种行为可能构成非法侵入住宅，是违法的。以下是我给你的具体建议：

1. 保持冷静与理智：

   • 控制好自己的情绪，避免与对方发生冲突。
   • 尝试与对方进行和平沟通，明确表达你的立场，即其行为已干扰到你的正常生活，请求其立即离开。

2. 采取实际行动维护权益：

   • 如果对方拒绝离开，你可以联系物业或居委会，请求他们出面调解。
   • 如果情况严重，或者物业、居委会无法解决问题，你应立即报警。警方有权处理此类违法行为，并会对实施非法侵入住宅行为的债权人进行相应处罚。

3. 收集证据：

   • 在整个过程中，务必保留好相关证据，如照片、视频、言语威胁记录等。这些证据在后续可能需要的法律程序中会起到重要作用。

4. 解决债务根源问题：

   • 在确保个人安全的前提下，你可以与债权人协商制定合理的还款计划，以从根本上解决问题。
   • 如果债务存在争议，或者对方的行为不合法，你可以直接向我咨询，获取专业的法律建议，并采取相应的法律行动。

5. 预防措施：

   • 增强门窗的安全性，确保家中没有易被利用的弱点。
   • 与邻居保持良好的关系，以便在紧急情况下能够获得及时的帮助。
   • 避免在家中存放大量现金或贵重物品，以降低被不法分子盯上的风险。

总之，面对这种情况，关键在于保持冷静、明确沟通、及时采取行动维护权益，并在事后采取预防措施避免类似事件再次发生。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。