结论：在发现妻子与他人存在不正当关系时，您是否可以起诉该男子，取决于您想要追究的法律责任类型以及具体的事实情况。以下从不同角度为您详细分析：
一、从民事侵权角度分析
若该男子与您妻子以夫妻名义共同生活：
- 法律背景：根据《民法典》的相关规定，禁止有配偶者与他人同居。如果该男子明知您妻子已婚，仍与她以夫妻名义共同生活，这可能构成重婚罪（在刑事角度）的同时，也侵犯了您的配偶权（在民事角度）。
- 法律建议：您可以向法院提起民事诉讼，要求该男子停止侵害、赔礼道歉，并可能要求赔偿精神损害抚慰金。但需要注意的是，民事诉讼中对于“以夫妻名义共同生活”的举证要求较高，需要充分的证据支持。
若该男子与您妻子存在不正当关系，但未以夫妻名义共同生活：
- 法律背景：虽然这种行为在道德上受到谴责，但一般不构成民事侵权中的配偶权侵犯（除非能证明该行为对您造成了具体的损害，如名誉损害等）。
- 法律建议：在这种情况下，您可能难以直接起诉该男子要求民事赔偿。但您可以考虑与妻子进行沟通，寻求婚姻关系的修复或考虑离婚，并在离婚过程中主张因对方过错导致的损害赔偿。
二、从刑事角度分析
若该男子与您妻子构成重婚罪：
- 法律背景：根据《刑法》第二百五十八条的规定，有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。
- 法律建议：如果您有证据证明该男子与您妻子以夫妻名义共同生活，且您妻子也构成重婚罪（即她明知自己已婚仍与该男子结婚或以夫妻名义共同生活），那么您可以向公安机关报案，要求追究他们的刑事责任。但需要注意的是，重婚罪的认定需要严格的证据支持，且一般由公安机关立案侦查。
若该男子与您妻子的行为不构成重婚罪：
- 法律背景：如果他们的行为仅限于不正当的男女关系，并未达到重婚的程度，那么该男子的行为虽然不道德，但一般不构成刑事犯罪。
- 法律建议：在这种情况下，您无法直接起诉该男子要求刑事处罚。但您可以考虑通过其他途径维护自己的权益，如与妻子协商离婚、在离婚过程中主张损害赔偿等。
三、实际操作中的建议
- 收集证据：无论您想要追究民事责任还是刑事责任，都需要充分的证据支持。因此，在采取任何行动之前，请务必收集并保存好相关证据，如聊天记录、照片、视频等。
- 咨询专业律师：由于法律问题的复杂性和专业性，建议您在采取任何行动之前咨询专业律师的意见。律师可以根据您的具体情况提供针对性的法律建议和帮助。
- 考虑婚姻关系的未来：在处理此类问题时，除了法律手段外，还需要考虑婚姻关系的未来。如果您与妻子的关系已经无法修复，那么离婚可能是更好的选择。在离婚过程中，您可以主张因对方过错导致的损害赔偿等权益。
最后，我理解您此刻可能感到愤怒和困惑，但请保持冷静和理智。法律是维护公平正义的工具，但也需要我们正确、合理地运用它。如果您有任何法律问题或需要进一步的帮助，请随时向我咨询。