高利贷的钱如果对方威胁家人，是违法的。以下从不同角度对此问题进行详细分析：

一、威胁行为的违法性

1. 《治安管理处罚法》的相关规定：

   • 根据《治安管理处罚法》第四十二条，写恐吓信或者以其他方法威胁他人人身安全的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
   • 若高利贷的出借人或催收人通过言语、文字、图片等方式对借款人或其家人进行威胁，使其感到恐惧或不安，这种行为即构成对他人人身安全的威胁，违反了上述法律规定。

2. 《刑法》的相关规定：

   • 若威胁行为情节严重，如造成借款人或其家人精神严重受损、生活受到严重影响等，可能构成《刑法》中的寻衅滋事罪或其他相关罪名。
   • 特别是当威胁行为伴随有暴力、非法拘禁、敲诈勒索等行为时，将可能面临更严重的刑事处罚。

二、高利贷本身的违法性

1. 高利贷的定义与违法性：

   • 高利贷是指索取特别高额利息的贷款，其利率通常远超过法定利率上限。
   • 根据《民法典》及相关司法解释，超出法定利率上限的利息部分不受法律保护，借款人无需支付。

2. 高利贷的催收限制：

   • 即使借款人欠有高利贷债务，出借人或催收人也无权通过威胁、暴力等非法手段进行催收。
   • 催收行为必须遵守法律法规，不得侵犯借款人的合法权益。

三、应对建议

1. 保留证据：

   • 若遭遇高利贷出借人或催收人的威胁行为，应第一时间保留相关证据，如通话记录、短信、微信聊天记录、录音录像等。

2. 及时报警：

   • 立即向当地公安机关报案，说明情况并提供相关证据。
   • 公安机关将依法进行调查处理，保护借款人的合法权益。

3. 寻求法律帮助：

   • 借款人可以咨询专业律师（如我），了解自身权益和应对策略。
   • 律师将根据具体情况提供法律意见和帮助，维护借款人的合法权益。

总结与建议：高利贷的钱如果对方威胁家人，是违法的。借款人应保留证据、及时报警并寻求法律帮助。同时，也建议借款人在借款前仔细了解相关法律法规和合同条款，避免陷入高利贷陷阱。如有任何法律问题或需要进一步的法律帮助，请直接向我咨询。