结论：高利贷方到单位讨债属于违法行为，您有权拒绝并采取法律手段维护自身权益，具体可从以下角度分析和应对：

1. 高利贷方到单位讨债的违法性

根据《民法典》及《治安管理处罚法》，讨债行为必须合法合规，不得侵犯他人隐私、名誉或干扰正常工作秩序。高利贷方到单位讨债，可能涉及以下违法行为：

• 侵犯隐私权：未经允许公开您的债务信息（如向同事透露借款细节）；
• 扰乱单位秩序：通过吵闹、威胁、纠缠等方式影响您或同事的正常工作；
• 涉嫌软暴力或敲诈勒索：若以威胁、恐吓等手段逼迫还款，可能触犯《刑法》第274条（敲诈勒索罪）或第293条之一（催收非法债务罪）。

应对建议：
立即向单位安保部门或领导报告，要求对方离开；若对方拒不离开或继续骚扰，可拨打110报警，警方有权对其训诫、罚款或拘留。

2. 高利贷本身的法律风险

高利贷的利息约定若超过合同成立时一年期贷款市场报价利率（LPR）的4倍，超出部分不受法律保护。即使您签署了借款合同，也无需偿还超出法定利率的利息。

应对建议：

• 核对借款合同中的利息条款，计算实际合法利息范围；
  
• 若已偿还高额利息，可要求对方返还超出部分（需通过诉讼或协商解决）；
  
• 保留所有还款记录、转账凭证及沟通记录（如微信、短信），作为维权证据。

3. 如何彻底解决高利贷纠纷

• 协商还款：与对方沟通，明确只偿还本金及合法利息，要求停止骚扰；
  
• 投诉举报：向当地银保监会或地方金融监管局举报高利贷行为；
  
• 法律诉讼：若对方持续骚扰或威胁，可向法院起诉，要求确认借款合同无效或调整利息，并主张赔偿因骚扰造成的损失（如误工费、精神损害抚慰金）。

4. 单位如何协助员工维权

单位有义务保护员工合法权益，可采取以下措施：

• 禁止无关人员进入办公区域，要求对方离开并记录其身份信息；
  
• 协助员工报警或联系律师；
  
• 若员工因讨债行为遭受损失（如名誉受损、无法正常工作），可支持员工通过法律途径索赔。

总结：高利贷方到单位讨债是违法行为，您无需妥协。建议优先报警并保留证据，同时通过法律途径确认债务合法性，彻底解决问题。如有进一步疑问，可直接向我咨询具体操作流程。