面对因赌债而有人到家里来的情况，你确实需要采取一系列坚定且合法的措施来保护自己和家人的权益。以下是我为你整理的详细应对策略：

首先，明确赌债的非法性： 你要坚定地告诉来访者，赌债在中国是违法的，不受法律保护。赌博本身就是一种违法活动，因此基于赌博产生的债务关系也不具有合法性。这一点有最高人民法院的相关司法解释作为明确支持，所以你有充分的法律依据来拒绝偿还。

其次，保持冷静，避免激化矛盾： 在表明你的立场时，一定要保持冷静和理性。不要因为对方的言辞或行为而恐慌或激动，这样可能会激化矛盾，导致不必要的冲突。使用平和、坚定的语言来阐述你的观点，确保自身和家人的人身安全。

接着，坚决拒绝偿还赌债： 明确无误地告诉对方，你不会偿还这笔赌债，因为它是非法的。如果对方继续纠缠或威胁，你可以再次强调这是违法行为，并且你已经了解了自己的法律权益，必要时会采取法律手段来维护自己。

同时，及时报警： 如果对方存在任何形式的暴力威胁、骚扰或破坏行为，如言语恐吓、限制人身自由、打砸家中物品等，你应立即拨打110报警。警方会迅速出警，依法处理这些违法行为，维护你的正常生活秩序，并对违法者进行相应的处罚。

另外，收集并保留证据： 在对方来家里骚扰或威胁时，尽量使用手机或其他设备记录下整个过程。包括对方的言行、人数、时间、地点等具体细节。这些证据在未来的法律程序中可能起到至关重要的作用，有助于你更好地维护自己的合法权益。

此外，寻求家人和社区的帮助： 及时告知家人相关情况，让他们了解你的处境，并共同面对这个问题。同时，你也可以向社区工作人员、居委会或村委会反映情况，寻求他们的协调和帮助。他们可能会提供一些实用的建议或资源，帮助你更好地应对这个困境。

最后，考虑寻求法律援助： 如果你感到自己无法单独处理这个问题，或者担心自己的法律权益会受到进一步侵害，那么你可以咨询专业的律师或法律援助机构。他们可以为你提供更具体、更专业的建议和指导，帮助你制定更有效的应对策略，并维护你的合法权益。

总之，面对因赌债而来的骚扰或威胁，你应坚决拒绝偿还赌债，并保持冷静、理性应对。通过及时报警、收集证据、寻求家人和社区帮助以及考虑寻求法律援助等措施，你可以有效地保护自己和家人的合法权益。同时，也要时刻提醒自己和他人远离赌博这种违法行为，以免给自己和家人带来不必要的麻烦和风险。