结论：把破坏你家庭的男人打了是否犯法，不能一概而论，需要结合具体情节来判断，可能涉及违法也可能不违法，以下为你详细分析：
可能不违法的情况
如果只是轻微的推搡、拉扯，没有造成对方身体上的伤害，或者虽然有一定的肢体接触，但伤害程度极其轻微，比如只是皮肤轻微发红，没有达到《人体损伤程度鉴定标准》中规定的轻微伤标准，那么一般不构成违法。不过，这种行为在道德层面虽然可能被部分人理解，但并不提倡，因为暴力解决问题往往不是最佳方式，还可能引发更复杂的矛盾。
可能违法的情况
- 构成治安管理处罚的情形：
- 如果殴打行为造成对方轻微伤，根据《中华人民共和国治安管理处罚法》第四十三条规定，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。例如，你打了对方一拳，导致对方面部软组织挫伤，经鉴定构成轻微伤，就可能面临上述治安处罚。
- 如果有结伙殴打、伤害他人，殴打残疾人、孕妇、未成年人或者老年人等特定对象，多次殴打、伤害他人或者一次殴打、伤害多人等情节的，处罚会更重，处十日以上十五日以下拘留，并处五百元以上一千元以下罚款。
- 构成犯罪的情形：
- 如果殴打行为造成对方轻伤及以上后果，就可能构成故意伤害罪。根据《中华人民共和国刑法》第二百三十四条规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。比如，你用凶器击打对方，导致对方骨折，经鉴定构成轻伤，就可能被追究刑事责任。
法律建议
- 保持冷静克制：遇到破坏家庭的情况，愤怒和冲动是可以理解的，但使用暴力解决问题往往会让事情变得更糟，还可能让自己陷入法律困境。建议先冷静下来，通过合法合理的途径来处理。
- 收集证据：如果对方确实存在破坏你家庭的行为，要注意收集相关证据，比如聊天记录、通话录音、证人证言等，这些证据在后续可能的法律程序中可能会起到重要作用。
- 寻求法律帮助：如果情况复杂，你可以直接向我咨询，我会根据你的具体情况，为你提供专业的法律建议和解决方案，比如如何通过离婚诉讼、损害赔偿诉讼等法律途径来维护自己的合法权益。
总之，面对破坏家庭的行为，要理性对待，通过合法的方式解决问题，避免因一时冲动而触犯法律。