结论是：没关系的人骚扰出轨男人的配偶，这种行为是否违法，取决于骚扰的具体方式和程度，可能涉及侵犯隐私权、名誉权，甚至构成治安管理处罚法中的违法行为或刑法中的犯罪行为。以下从不同角度进行详细分析：

1. 侵犯隐私权与名誉权：

   • 如果骚扰行为包括未经允许泄露出轨男人的配偶的个人信息、散布不实言论或谣言，损害其名誉，或者通过非法手段获取、传播其隐私信息，这些都可能构成对隐私权和名誉权的侵犯。根据《中华人民共和国民法典》的相关规定，受害者有权要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。

2. 违反治安管理处罚法：

   • 如果骚扰行为达到了一定的严重程度，如频繁发送骚扰信息、打电话、上门骚扰等，干扰了出轨男人的配偶的正常生活，那么这种行为可能违反了《中华人民共和国治安管理处罚法》的相关规定。根据该法，公安机关可以对骚扰者进行警告、罚款或拘留等处罚。

3. 构成犯罪行为：

   • 在极端情况下，如果骚扰行为升级为威胁、恐吓、殴打或其他暴力行为，那么这种行为可能构成犯罪，如寻衅滋事罪、故意伤害罪等。根据《中华人民共和国刑法》的相关规定，犯罪者将面临刑事处罚，包括有期徒刑、拘役或罚金等。

法律建议：

• 如果出轨男人的配偶遭受了无关人员的骚扰，首先应当保留好相关证据，如骚扰信息、通话记录、视频监控等。
• 接着，可以向公安机关报案，要求公安机关依法处理骚扰者。
• 如果骚扰行为造成了实际损失，如精神损害、财产损失等，还可以考虑通过民事诉讼途径要求骚扰者进行赔偿。

可能后果：

• 骚扰者可能面临民事赔偿、行政处罚或刑事处罚等法律后果，具体取决于骚扰行为的性质和严重程度。
• 出轨男人的配偶在维护自己合法权益的同时，也应当注意保护自己的隐私和安全，避免与骚扰者发生直接冲突。

如有任何进一步的问题或需要更具体的法律建议，请直接向我咨询，我会根据你的具体情况提供更详细的解答。