结论：男人是否可以起诉女人霸占房产，这取决于女人居住在该房产中的法律基础及具体情况。以下从不同角度进行分析：

1. 若女人无合法居住权：

   • 法律分析：如果女人并非该房产的合法共有人、承租人或基于其他合法原因（如家庭关系、合同关系等）居住在该房产中，且男人是该房产的合法所有者或有权使用者，那么男人有权要求女人搬离。若女人拒绝搬离，男人可以通过法律途径，如起诉女人非法侵占或排除妨害等，来维护自己的合法权益。
   • 建议行动：男人应收集相关证据，如房产证、租赁合同（如有）、女人居住的相关证据等，以证明自己对房产的合法权利及女人的非法居住行为，然后向法院提起诉讼。

2. 若女人有合法居住权：

   • 法律分析：如果女人基于某种合法原因（如与男人有婚姻关系、共同承租关系、基于合同或法律的居住权等）居住在该房产中，那么男人可能无法直接起诉女人霸占房产。在这种情况下，男人需要首先解决女人居住权的法律基础问题，如通过离婚诉讼分割财产、解除租赁合同或根据合同或法律条款处理居住权问题。
   • 建议行动：男人应咨询专业律师，了解女人居住权的法律基础及可能的解决方案。根据具体情况，男人可能需要与女人协商、通过法律程序解除女人的居住权或寻求其他合法途径来解决问题。

3. 特殊情况考虑：

   • 情人关系与法律义务：情人关系本身并不构成法律上的权利义务关系。因此，除非存在其他法律基础（如共同财产、租赁关系等），否则男人无法仅基于情人关系要求女人搬离或起诉女人霸占房产。
   • 道德与法律界限：虽然道德上可能对情人居住在男人家中有所评判，但法律上更关注的是居住行为的合法性。因此，男人在采取法律行动前，应明确区分道德与法律界限，确保自己的行动有法律依据。

法律背景与建议：

• 在处理此类纠纷时，建议男人首先了解相关法律法规，明确自己的权利和义务。
• 收集并保存所有与房产及女人居住行为相关的证据，以便在需要时提供证明。
• 考虑与女人进行协商，尝试通过和平方式解决问题，以减少法律纠纷和成本。
• 若协商无果，建议男人及时咨询专业律师，了解具体的法律程序和可能的结果，以便做出明智的决策。

可能法律后果：

• 如果男人成功证明女人非法侵占房产，法院可能会判决女人搬离并可能承担一定的赔偿责任。
• 如果男人无法证明女人非法居住或女人有合法居住权，男人可能无法直接要求女人搬离，而需要寻求其他合法途径来解决问题。

如有任何进一步的问题或需要具体的法律帮助，请直接向我咨询。