核心结论：面对高利贷人员到您单位骚扰的情况，您可以通过明确拒绝、收集证据、报警处理、寻求单位帮助以及通过法律途径解决债务问题等方式来应对。以下是具体分析和建议：

1. 明确拒绝并表明态度：

   • 当高利贷人员到您单位时，您应首先明确拒绝他们的要求，并表明您与弟弟的债务无关，您没有义务为其偿还债务。
   • 态度要坚定而礼貌，避免与对方发生冲突，但也要让对方知道您的立场。

2. 收集证据：

   • 在与高利贷人员交流的过程中，尽量录音或录像，以保留证据。
   • 记录下对方的身份信息、来意、威胁或骚扰的内容等，这些证据在后续处理中可能起到关键作用。

3. 报警处理：

   • 如果高利贷人员的行为已经构成了骚扰或威胁，您应立即报警。
   • 向警方提供您收集到的证据，并说明情况，让警方介入处理。

4. 寻求单位帮助：

   • 向您的单位领导或人力资源部门报告此事，说明您正在遭受高利贷人员的骚扰。
   • 单位可能会提供必要的支持或协助，如加强安保措施、提供法律咨询等。

5. 通过法律途径解决债务问题（针对弟弟的债务）：

   • 虽然您没有义务为弟弟偿还债务，但如果您愿意帮助他，可以建议他通过法律途径解决债务问题。
   • 例如，与高利贷方协商降低利息或重新安排还款计划；如果高利贷方的行为违法（如利率超过法定上限），可以向法院提起诉讼或向相关监管部门投诉。

额外建议：

• 在处理此类问题时，保持冷静和理智至关重要。不要因为对方的威胁或骚扰而做出冲动的决定。
• 如果您或您的弟弟感到无法独自应对，可以考虑寻求专业的法律帮助或心理咨询。

核心前提：您与弟弟的债务无关，没有法律义务为其偿还债务。面对高利贷人员的骚扰，您有权保护自己的合法权益和工作环境。如有任何进一步的问题或需要具体的法律建议，请随时向我咨询。