结论：在您描述的情况下，一般不能直接追究“外面的男人”的法律责任，但可以从离婚纠纷的角度，通过合法途径维护自身权益。以下从不同角度为您详细分析：
从婚姻过错责任角度分析
- 一般情况难以追究其责任：在我国法律体系中，单纯的与他人长期联系，并不直接构成法律上的过错行为，除非这种联系发展成了婚外情、重婚等明确违反法律和道德规范的行为。如果只是普通的频繁联系，没有证据表明存在不正当男女关系或者重婚等情形，很难直接追究该男子的法律责任。例如，两人只是工作上的正常交流、朋友间的普通往来，即便联系较为频繁，也不属于法律规制的范畴。
- 若存在婚外情或重婚等情形：
- 婚外情：如果能够证明该男子与您妻子存在婚外情，在离婚诉讼中，这可以作为您妻子存在过错的有力证据。根据《中华人民共和国民法典》相关规定，因一方有过错导致离婚的，无过错方有权请求损害赔偿。这里的过错包括重婚、与他人同居等情形，婚外情虽不完全等同于与他人同居，但在司法实践中，如果能提供充分证据证明婚外情对婚姻关系造成了严重破坏，法院在判决财产分割、子女抚养等问题时，可能会适当向无过错方倾斜。
- 重婚：如果该男子与您妻子以夫妻名义共同生活，或者办理了结婚登记手续，那么该男子就构成了重婚罪。根据《中华人民共和国刑法》第二百五十八条规定，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。此时，您不仅可以向法院提起离婚诉讼，还可以向公安机关报案，追究该男子的刑事责任。不过，要证明重婚罪需要收集到确凿的证据，比如两人以夫妻名义共同生活的照片、视频、证人证言等。
从离婚纠纷处理角度分析
- 收集证据：无论是否要追究该男子的责任，在离婚纠纷中，收集相关证据都是非常重要的。您可以收集您妻子与该男子的聊天记录、通话记录、见面照片或视频等，这些证据可以在离婚诉讼中证明您妻子存在过错，从而为您争取更多的财产权益和子女抚养权提供有力支持。
- 协商离婚：如果您与妻子能够就离婚事宜达成一致意见，包括财产分割、子女抚养等问题，那么可以选择协议离婚的方式。在协商过程中，您可以根据收集到的证据，与妻子就相关问题进行沟通和协商，争取一个对自己较为有利的结果。
- 诉讼离婚：如果双方无法就离婚事宜达成一致意见，您可以向法院提起离婚诉讼。在诉讼过程中，您需要将收集到的证据提交给法院，法院会根据证据情况以及相关法律规定，对离婚、财产分割、子女抚养等问题作出判决。
建议：如果您遇到此类情况，建议您先保持冷静，收集好相关证据。同时，您可以进一步向我咨询具体的证据收集方法和离婚诉讼策略，我会根据您的具体情况为您提供专业的法律建议和帮助。