结论：高利贷上门或者上单位的行为是否违法，需根据具体情况判断。若行为超出合理限度，干扰了他人正常生活或工作秩序，则可能违法。

详细分析：

1. 高利贷本身的合法性：

   • 高利贷，即超出法定利率上限的借贷行为，其本身在法律上是不被保护的。根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍的，超出部分的利息约定无效。但这并不意味着高利贷行为本身直接构成犯罪，除非伴随有其他违法行为，如诈骗、非法拘禁等。

2. 上门或上单位讨债的合法性：

   • 合理限度内：如果讨债行为在合理限度内进行，比如通过电话、短信或上门友好协商等方式，且未干扰到债务人或其单位同事的正常生活和工作秩序，那么这种行为通常不被视为违法。
   • 超出合理限度：如果讨债行为超出了合理限度，比如采取恐吓、威胁、骚扰、堵门、泼油漆等非法手段，或者频繁上门、上单位，严重干扰了债务人或其单位同事的正常生活和工作秩序，那么这种行为就可能构成违法。具体可能涉及《治安管理处罚法》中的相关规定，如“多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的”或“强拿硬要或者任意损毁、占用公私财物的”等情形，可处以拘留、罚款等处罚。

3. 特殊情况：

   • 如果讨债过程中伴随有暴力、非法拘禁、敲诈勒索等犯罪行为，那么讨债者将可能面临刑事责任的追究。

法律建议：

• 对于债务人：如果遭遇高利贷讨债者的非法行为，应首先保护好自己的人身安全，及时报警并保留好相关证据，如通话记录、短信、视频等，以便后续维权。
• 对于讨债者：应遵守法律法规，通过合法途径讨债，如协商、调解、诉讼等。避免采取非法手段，以免触犯法律，面临法律责任。

后续行动建议：

• 如果您或您身边的人正面临高利贷讨债的困扰，且讨债行为已经超出了合理限度，建议及时咨询专业律师，了解具体的法律维权途径。
• 在处理此类问题时，务必保持冷静，不要与讨债者发生直接冲突，以免事态升级。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。