结论：在您描述的情况下，直接起诉那个男人可能并不直接可行，但您可以根据具体情况考虑采取其他法律措施。以下是从不同角度的详细分析：

1. 从民事侵权角度：

   • 如果那个男人与您妻子之间存在不正当关系，并且这种关系导致了您家庭关系的破裂或其他损害，从民事侵权的角度来看，您可能无法直接起诉那个男人要求赔偿，因为通常民事侵权需要证明具体的损害后果和因果关系，而情感上的伤害往往难以量化。
   • 但是，如果那个男人在租房过程中存在欺诈、胁迫等行为，或者租房行为本身侵犯了您的合法权益（例如，租房合同是您妻子未经您同意擅自签订，且租金等费用来源于夫妻共同财产），您可能可以基于这些事实提起民事诉讼，要求撤销租房合同或赔偿损失。不过，这种情况下您的直接被告更可能是您妻子（如果她是合同签订方）或租房合同的相对方（如果合同存在违法或违规情形），而非单纯针对那个男人。

2. 从刑事角度：

   • 在一般情况下，单纯的租房行为并不构成犯罪。即使那个男人与您妻子存在不正当关系，这也不直接构成刑事犯罪。
   • 但是，如果那个男人或您妻子在租房过程中涉及了其他违法行为，如诈骗、盗窃、非法侵入住宅等，那么您可以根据具体情况向公安机关报案，要求追究相关人员的刑事责任。

3. 从家庭关系处理角度：

   • 考虑到您描述的情况可能涉及家庭关系的破裂，我建议您首先尝试与妻子进行沟通，了解她的想法和态度，并寻求婚姻咨询或家庭治疗等帮助，以修复家庭关系。
   • 如果沟通无果，且您认为婚姻关系已经无法继续维持，您可以考虑提起离婚诉讼。在离婚诉讼中，您可以就夫妻共同财产的分割、子女抚养等问题提出主张，并可能因对方的不当行为（如与他人同居）而要求损害赔偿。

建议：

• 在采取任何法律措施之前，我建议您先收集相关证据，如租房合同、付款记录、通信记录等，以证明您所主张的事实。
• 考虑到法律问题的复杂性和个体差异性，我建议您在采取行动前咨询专业律师（当然，您可以直接向我咨询），以便根据您的具体情况制定合适的法律策略。

后续行动：

• 如果您决定采取法律措施，请确保您的行动符合法律法规的规定，并准备好应对可能出现的法律后果。
• 同时，我也建议您保持冷静和理性，避免采取过激行为或言语攻击，以免加剧矛盾或引发不必要的法律纠纷。