在我国法律体系下，单纯以“没家庭的女人破坏有家庭的男人”这一身份关系本身，并不直接构成违法犯罪行为，但可能因具体行为触犯相关法律规定，需分情况讨论：

1. 若仅涉及道德层面的介入，不涉及违法犯罪
   如果双方仅是自愿发展感情关系，未以夫妻名义共同生活，也未实施其他违法行为（如暴力、威胁、诈骗等），则主要涉及道德谴责范畴，法律不会主动介入处理。但原配偶可通过民事途径主张权益（如离婚时要求过错方赔偿）。

2. 若以夫妻名义共同生活，可能构成重婚罪
   根据《刑法》第258条，有配偶者与他人以夫妻名义同居生活，或明知他人有配偶而与之以夫妻名义同居的，构成重婚罪，可处二年以下有期徒刑或拘役。

   • 关键点：需证明“以夫妻名义同居”（如共同居住、对外以夫妻相称、参与彼此家庭活动等）。
     
   • 实践中，原配偶需收集证据（如邻居证言、共同生活照片、聊天记录等）向公安机关报案或直接向法院提起刑事自诉。

3. 若存在财产转移或侵占，可能涉及民事侵权
   若第三者通过不正当手段（如诱导男方转移夫妻共同财产）获取财物，原配偶可依据《民法典》第1062条（夫妻共同财产制）和第1092条（离婚时隐藏、转移财产的分割规则），要求第三者返还财产，并主张男方少分或不分财产。

4. 若存在侮辱、诽谤等行为，可能涉及名誉权侵权
   若第三者或男方通过公开言论贬损原配偶名誉（如散布谣言、恶意诋毁），原配偶可依据《民法典》第1024条提起民事诉讼，要求停止侵害、赔礼道歉并赔偿损失。

建议：

• 若您是原配偶，可先固定证据（如聊天记录、同居证明、财产转移记录等），再根据具体情形选择民事诉讼或刑事报案；
  
• 若您是涉事方，需警惕行为边界，避免因一时情感冲动触犯法律；
  
• 家庭关系复杂，具体处理需结合证据和细节，如有进一步疑问可直接向我咨询。