结论：男人破坏别人家庭的行为，在大多数情况下并不能直接起诉他，但若其行为构成重婚或与他人同居导致离婚的，无过错方可以主张损害赔偿。
分析说明：
一般情况下的法律责任：
- 在一般的婚姻家庭关系中，如果男人只是与已婚女性存在不正当关系，但并未构成重婚或与他人同居，这种行为虽然违背了社会道德和公序良俗，但并不直接构成法律上的侵权或犯罪行为。因此，在这种情况下，无法直接起诉该男人。
构成重婚的情况：
- 如果男人与已婚女性以夫妻名义共同生活，或者明知对方有配偶而与之结婚，这就构成了重婚罪。根据《中华人民共和国刑法》的相关规定，重婚罪是可以被追究刑事责任的。同时，在民事方面，无过错方（即被破坏家庭的配偶）有权向法院提起离婚诉讼，并可以要求重婚方承担损害赔偿责任。
与他人同居导致离婚的情况：
- 如果男人与已婚女性长期同居，导致该女性的配偶提出离婚，且离婚是由于该男人的同居行为导致的，那么无过错方在离婚时也有权要求损害赔偿。这种损害赔偿包括物质损害赔偿和精神损害赔偿，具体数额由法院根据实际情况进行裁决。
特殊场景：
- 在某些特殊情况下，如果男人的破坏行为导致了其他严重的后果，比如侵犯了无过错方的名誉权、隐私权等，无过错方也可以根据相关法律规定，向法院提起民事诉讼，要求该男人承担相应的民事责任。
行动建议：
- 如果您或您身边的人遇到了类似的情况，建议首先收集相关证据，如聊天记录、照片、视频等，以证明该男人的破坏行为。
- 然后，您可以咨询专业律师（比如我，洪秋律师，专注于婚姻家庭领域），根据具体情况制定合适的法律策略。
- 如果该男人的行为构成了重婚或与他人同居导致离婚，您可以向法院提起离婚诉讼，并要求损害赔偿。
- 如果该男人的行为导致了其他严重的后果，您也可以根据相关法律规定，向法院提起民事诉讼，维护自己的合法权益。