您并未贷款却遭遇骚扰电话威胁，甚至对方还联系了您的家人和单位，这种行为显然是不合法的，您有权采取措施保护自己的合法权益。以下是从不同角度为您进行的分析和建议：
一、骚扰电话的违法性
侵犯隐私权：根据《中华人民共和国民法典》的相关规定，自然人享有隐私权，任何组织或者个人不得以刺探、侵扰、泄露、公开等方式侵害他人的隐私权。骚扰电话，尤其是未经允许的频繁拨打，明显侵犯了您的隐私权。
可能构成治安违法：如果骚扰电话的内容涉及威胁、恐吓等，那么这种行为还可能违反《中华人民共和国治安管理处罚法》的相关规定，对方可能面临行政处罚，如罚款、拘留等。
二、应对措施
收集证据：首先，您需要收集所有与骚扰电话相关的证据，包括通话记录、短信内容、录音等。这些证据将有助于您后续维权。
向运营商投诉：您可以向您的手机运营商投诉，要求他们采取措施阻止这些骚扰电话。运营商通常有相应的机制来处理此类投诉。
报警处理：如果骚扰电话的内容严重，如涉及威胁、恐吓等，您应立即向当地公安机关报案。公安机关将依法进行调查处理，并可能对骚扰者采取强制措施。
法律诉讼：如果骚扰行为给您造成了实际损失，如精神损害、名誉损害等，您还可以考虑通过法律途径提起诉讼，要求骚扰者承担相应的民事责任。
三、关于联系家人和单位的合法性
非法获取个人信息：如果骚扰者是通过非法手段获取了您的家人和单位的联系方式，那么这种行为还可能涉及侵犯公民个人信息罪，将受到更严厉的刑事处罚。
骚扰家人和单位的违法性：即使骚扰者获取了您家人和单位的联系方式，他们也无权以此为由进行骚扰。这种行为同样侵犯了您家人和单位的合法权益，您和家人、单位都有权向相关部门投诉或报警。
四、建议与提醒
加强个人信息保护：为了避免类似事件再次发生，建议您加强个人信息的保护，不要随意透露给陌生人或在不安全的网络环境下使用个人信息。
及时寻求法律帮助：如果您在处理此类事件过程中遇到任何困难或疑问，建议及时寻求专业律师的法律帮助。作为专注于经济纠纷、刑事辩护领域的律师，我可以为您提供专业的法律咨询和代理服务。
总之，您并未贷款却遭遇骚扰电话威胁，甚至对方还联系了您的家人和单位，这种行为是不合法的。您有权采取措施保护自己的合法权益，包括收集证据、向运营商投诉、报警处理以及通过法律途径提起诉讼等。如果您需要进一步的法律帮助或咨询，请随时向我提问。