面对高利贷闹到单位的情况，首先明确结论：您有权保护自身合法权益，可通过合法途径应对高利贷方的骚扰行为，同时需注意保留证据并采取适当措施避免事态扩大。 以下是具体分析和建议：

1. 明确高利贷的法律性质
   根据《民法典》及《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，借贷利率超过合同成立时一年期贷款市场报价利率（LPR）四倍的部分不受法律保护。若对方索要超出法定利率的利息，您无需承担还款义务，且其骚扰行为可能涉嫌违法。

2. 应对单位骚扰的具体措施

   • 立即取证：保留对方到单位骚扰的证据，如录音、录像、证人证言、书面威胁材料等，这些是后续维权的关键。
     
   • 向单位说明情况：及时与单位沟通，说明高利贷的非法性及自身困境，争取单位理解与支持（如协助报警或提供安全保护）。
     
   • 报警处理：若对方行为构成“滋事”“威胁”“骚扰”等，可拨打110报警，警方将依据《治安管理处罚法》对其处罚（如拘留、罚款）。
     
   • 拒绝私下协商：避免与对方单独接触或签署任何文件，防止被胁迫承认非法债务或做出不利承诺。

3. 通过法律途径解决债务纠纷

   • 起诉确认债务无效：若对方已起诉或威胁起诉，您可主动向法院提起诉讼，要求确认超出法定利率的债务无效，并主张返还已支付的超额利息。
     
   • 申请行为保全：在诉讼中，可向法院申请“禁止对方实施骚扰行为”的保全措施，法院将裁定禁止对方继续骚扰您或单位。
     
   • 举报非法放贷：若对方涉嫌“职业放贷”或“套路贷”，可向当地公安机关经侦部门举报，其可能面临刑事处罚。

4. 特殊情形处理

   • 若对方冒充公检法或伪造文件：立即向公安机关报案，此类行为可能构成“诈骗”“伪造国家机关公文”等犯罪。
     
   • 若单位因骚扰解雇您：可主张单位违法解除劳动合同，要求赔偿（需证明骚扰与解雇的因果关系）。

最后提醒：高利贷问题涉及民事、行政甚至刑事法律关系，建议优先通过法律程序解决，避免以暴制暴或隐忍妥协。若需进一步协助（如起草法律文书、分析证据等），可直接向我咨询具体方案。