结论：别人家男人出轨来你们家调监控的行为，一般是不合法的，具体是否违法及可能涉及的法律责任，需根据实际情况判断。以下从不同角度进行分析：
一、从隐私权保护的角度
- 隐私权定义：隐私权是指自然人享有的私人生活安宁与私人信息秘密依法受到保护，不被他人非法侵扰、知悉、收集、利用和公开的一种人格权。
- 监控调取与隐私权：如果你们家的监控设备拍摄到了涉及他人隐私的内容（如出轨男子的行为），那么这些内容属于他人的隐私信息。未经他人同意，擅自调取、查看或传播这些隐私信息，可能构成对他人隐私权的侵犯。
- 法律后果：根据《中华人民共和国民法典》的相关规定，侵犯他人隐私权的，应当承担停止侵害、赔礼道歉、赔偿损失等民事责任。如果情节严重，还可能构成侵犯公民个人信息罪等刑事犯罪。
二、从监控设备安装与使用的合法性角度
- 监控设备安装：在自家安装监控设备，一般是为了保障家庭安全，这种行为本身并不违法。但是，监控设备的安装位置、拍摄范围等应当合理，不得侵犯他人的合法权益。
- 监控设备使用：即使监控设备是合法安装的，其拍摄到的内容也不得随意调取、查看或传播。特别是当这些内容涉及他人隐私时，必须严格遵守相关法律法规，尊重他人的隐私权。
- 特殊情况：如果出轨男子的行为已经涉嫌违法犯罪（如通奸、重婚等），且你们家的监控设备拍摄到了相关证据，那么在这种情况下，你们应当向公安机关报案，并由公安机关依法调取监控录像作为证据。但即便如此，也不意味着你们可以擅自将监控录像提供给其他人或公开传播。
三、从实际行为与法律责任的对应角度
- 擅自调取监控：如果别人家男人未经你们同意，擅自进入你们家调取监控录像，这种行为不仅侵犯了你们的住宅安宁权（如果未经允许进入住宅），还可能构成对你们监控设备使用权的侵犯。如果调取的内容涉及他人隐私，还可能同时侵犯他人的隐私权。
- 法律责任：对于擅自调取监控的行为，如果构成侵权，侵权人应当承担相应的民事责任。如果行为情节严重，还可能受到行政处罚或刑事处罚。例如，如果擅自调取监控的行为同时构成了非法侵入住宅罪或侵犯公民个人信息罪等犯罪，那么侵权人将面临刑事责任的追究。
建议：
- 如果遇到别人家男人出轨来你们家调监控的情况，首先应当保持冷静，不要与对方发生冲突。
- 明确告知对方，其行为可能侵犯了他人的隐私权和你们的住宅安宁权等合法权益，要求对方立即停止侵权行为。
- 如果对方不听劝阻或行为情节严重，应当及时向公安机关报案，由公安机关依法处理。
- 在日常生活中，也应当注意保护自己的隐私权和住宅安宁权等合法权益，避免不必要的纠纷和损失。
如有任何法律疑问或需要进一步的法律帮助，请直接向我咨询。