结论：在您与妻子已经离婚的情况下，一般不可以直接起诉外面的男人破坏家庭，但在特定情形下，您可以考虑以其他相关法律事由来维护自身权益。
分析说明：
破坏家庭行为在法律上的定性：
- 破坏家庭，通常指的是第三者插足他人婚姻，导致他人婚姻破裂的行为。然而，在我国现行法律体系中，并没有直接规定“破坏家庭罪”或类似的罪名。因此，从刑事法律的角度来看，直接起诉外面的男人破坏家庭是不成立的。
离婚后的法律关系：
- 既然您已经与妻子离婚，那么您与妻子之间的婚姻关系已经解除。此时，您与妻子以及外面的男人之间的法律关系已经发生了变化。您不再是妻子的配偶，因此，从婚姻关系的角度，您无法再对破坏您婚姻的第三者提出直接的民事或刑事诉讼。
可能的法律救济途径：
- 如果第三者存在过错且导致您财产损失：例如，如果第三者与您的妻子在婚姻关系存续期间共同侵占了您的财产，或者第三者以不正当手段获取了您的财产，您可以在离婚后，根据相关证据，向法院提起民事诉讼，要求第三者返还财产或赔偿损失。
- 如果第三者构成重婚罪：虽然直接起诉破坏家庭不成立，但如果第三者与您的妻子在您婚姻关系存续期间以夫妻名义共同生活，且您能够提供充分证据证明这一点，那么第三者可能构成重婚罪。然而，这需要您在离婚前或离婚过程中发现并收集证据，离婚后由于婚姻关系已经解除，再以重婚罪起诉第三者的难度会大大增加。
- 其他民事侵权诉讼：如果第三者的行为对您造成了其他形式的损害（如名誉权、隐私权等），且符合民事侵权的构成要件，您也可以考虑提起民事侵权诉讼。
行动建议：
- 收集证据：如果您认为第三者的行为对您造成了损害，并考虑通过法律途径维护自身权益，那么首先需要收集相关证据。这些证据可能包括聊天记录、照片、视频、证人证言等，能够证明第三者的过错行为以及您因此遭受的损失。
- 咨询专业律师：在决定采取法律行动之前，建议您咨询专业律师，了解您的具体权益和可能的法律救济途径。律师可以根据您的具体情况，为您提供专业的法律意见和诉讼策略。
- 考虑和解或调解：在某些情况下，通过和解或调解来解决纠纷可能更为高效和低成本。您可以考虑与第三者或您的前妻进行协商，寻求达成和解或调解协议的可能性。
法律后果提示：
- 提起诉讼需要承担一定的法律风险和成本，包括诉讼费、律师费以及可能的时间成本等。因此，在决定提起诉讼之前，请务必充分评估自身的经济能力和诉讼风险。
- 如果诉讼失败，您可能需要承担败诉的法律后果，包括支付对方的诉讼费用等。因此，在提起诉讼之前，请确保您有充分的证据和法律依据来支持您的诉讼请求。
如果您有任何进一步的疑问或需要进一步的法律帮助，请随时向我咨询。