面对高利贷人员到家里闹的情况，首先要保持冷静，明确告知对方其行为已涉嫌违法，并立即采取措施保护自己和家人的人身安全，同时收集证据并报警处理。以下是具体分析和建议：
明确法律立场，告知对方行为的违法性
根据《中华人民共和国刑法》第二百九十三条之一的规定，追逐、拦截、辱骂、恐吓他人，情节恶劣的，构成寻衅滋事罪，可处五年以下有期徒刑、拘役或者管制。若高利贷人员通过暴力、威胁、骚扰等手段催债，已涉嫌违法甚至犯罪。你可以明确告知对方：“你们的催债方式已涉嫌寻衅滋事或非法侵入住宅，我会立即报警并保留追究法律责任的权利。”
保护人身安全，避免直接冲突
若对方情绪激动或存在暴力倾向，切勿与对方发生肢体冲突，优先确保自己和家人的安全。可迅速关闭门窗，联系亲友到场协助，或通过手机录音、录像记录现场情况。若对方强行闯入住宅，根据《中华人民共和国刑法》第二百四十五条，非法侵入他人住宅的，可处三年以下有期徒刑或者拘役，此行为已构成刑事犯罪。
收集证据，为后续维权做准备
立即通过手机、监控等设备记录对方的行为，包括言语威胁、肢体动作、闯入住宅等场景。保留所有与高利贷相关的书面材料（如借条、合同）和转账记录，这些证据将有助于后续通过法律途径解决纠纷。
报警处理，寻求公权力介入
立即拨打110报警，向警方详细说明对方的行为、人数、是否携带凶器等情况。警方到场后，要求其出具《受案回执》并跟进案件处理进度。若警方未及时处理，可向其上级部门或检察院申请立案监督。
通过法律途径解决债务纠纷
高利贷的利息约定若超过合同成立时一年期贷款市场报价利率（LPR）的四倍，超出部分不受法律保护。你可通过诉讼或调解方式，要求法院确认超出部分的利息无效，并重新核算合法债务。若对方存在“套路贷”等诈骗行为，还可向公安机关报案追究其刑事责任。
最后提醒：高利贷问题往往涉及复杂的法律关系，建议你在处理过程中保持冷静，避免因情绪激动而做出不利于自己的行为。若需要进一步帮助，可直接向我咨询，我会根据你的具体情况提供更详细的法律建议。