结论：一般情况下，与有夫之妇发生关系，其丈夫不能直接起诉外面的男人，但在特定情况下，丈夫可以基于不同的法律关系提起诉讼。以下从不同角度为你详细分析：

1. 从婚姻关系角度

在婚姻关系中，出轨行为主要涉及的是夫妻之间的忠诚义务问题。根据《民法典》的相关规定，夫妻之间有相互忠诚的义务。然而，这种忠诚义务主要是道德和法律对夫妻双方的要求，并不直接赋予丈夫对“外面的男人”的起诉权。也就是说，丈夫不能仅因为妻子与他人发生关系，就直接以侵犯婚姻关系为由起诉外面的男人。

2. 从侵权责任角度

如果外面的男人在明知对方有配偶的情况下，仍然与其发生关系，并且这种行为对丈夫造成了精神损害（如导致丈夫精神抑郁、社会评价降低等），那么丈夫有可能基于侵权责任法（现相关条款已融入《民法典》侵权责任编）的规定，起诉外面的男人要求其承担侵权责任。但这种情况需要丈夫能够提供充分的证据证明自己的精神损害以及该损害与外面男人的行为之间存在因果关系。

举例：假设丈夫因为妻子的出轨行为而患上了严重的抑郁症，且能够证明这种抑郁症是由于妻子的出轨行为以及外面男人的介入所导致的，那么丈夫就有可能起诉外面的男人要求其承担侵权责任。

3. 从重婚罪角度

如果外面的男人与有夫之妇以夫妻名义共同生活，或者明知对方有配偶而与之结婚，那么这种行为就构成了重婚罪。在这种情况下，丈夫不仅可以向公安机关报案，要求追究外面男人的刑事责任，还可以在刑事诉讼过程中提起附带民事诉讼，要求外面男人赔偿因重婚行为给自己造成的损失。

法律依据：根据《刑法》第二百五十八条的规定，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。

4. 从其他法律关系角度

除了上述几种情况外，如果外面的男人与有夫之妇之间还存在其他法律关系（如经济往来、共同债务等），并且这些法律关系与丈夫的权益有关，那么丈夫也有可能基于这些法律关系提起诉讼。但这种情况比较复杂，需要具体分析。

建议：如果你或你身边的人遇到了类似的问题，建议先收集相关证据，如聊天记录、照片、视频等，以证明外面男人的行为以及该行为对自己造成的损害。然后，你可以根据具体情况选择合适的法律途径来维护自己的权益。如果你对此有任何疑问或需要进一步的法律帮助，可以直接向我咨询。