结论：能否起诉“破坏别人家的男人”（通常指与他人配偶存在不正当关系的一方），需根据具体行为及造成的损害后果来判断，并非所有情况都能直接起诉。以下从不同角度详细分析：

一、从人格权侵权角度分析

1. 若存在侮辱、诽谤等行为
   若“破坏别人家的男人”通过言语、文字等方式侮辱、诽谤您或您的配偶（如散布谣言、恶意中伤），导致您的名誉权、人格尊严受损，您可以起诉其侵犯人格权。

   • 法律依据：《民法典》第1024条规定，民事主体享有名誉权，任何组织或个人不得以侮辱、诽谤等方式侵害他人名誉权。
     
   • 举证要点：需提供证据证明对方存在侮辱、诽谤行为（如聊天记录、录音、证人证言等），且该行为与您的名誉受损存在因果关系。

2. 若仅存在不正当关系，未直接侵害您的人格权
   若对方仅与您的配偶存在不正当关系，但未对您进行侮辱、诽谤等行为，一般难以直接起诉其侵犯人格权。因为不正当关系本身不直接构成对第三方（您）的人格权侵害，但可能涉及其他法律关系（如婚姻家庭关系）。

二、从婚姻家庭关系角度分析

1. 若您是配偶一方，可起诉离婚并主张损害赔偿
   若您是婚姻中的一方，因对方与第三者存在不正当关系导致夫妻感情破裂，您可以起诉离婚，并在离婚诉讼中主张对方存在过错，要求其承担损害赔偿责任（如精神损害抚慰金）。

   • 法律依据：《民法典》第1091条规定，因重婚、与他人同居等重大过错导致离婚的，无过错方有权请求损害赔偿。
     
   • 举证要点：需提供证据证明对方存在重婚、与他人同居等过错行为（如亲密照片、视频、证人证言等）。

2. 若您是第三者，可能面临道德谴责，但一般不承担法律责任
   若您是“破坏别人家的男人”中的“第三者”，除非存在故意侵害他人婚姻家庭的行为（如教唆、帮助他人重婚），否则一般不承担法律责任，但可能面临道德谴责。

三、从其他法律角度分析

1. 若对方存在暴力、威胁等行为
   若对方在不正当关系中对您或您的家人实施暴力、威胁等行为，您可以报警并起诉其侵犯生命权、健康权或身体权。

   • 法律依据：《民法典》第1002条、第1003条、第1004条规定，自然人享有生命权、健康权、身体权，任何组织或个人不得侵害。

2. 若对方存在侵犯隐私权的行为
   若对方通过偷拍、偷录等方式侵犯您的隐私权（如传播您的私密照片、视频），您可以起诉其侵犯隐私权。

   • 法律依据：《民法典》第1032条规定，自然人享有隐私权，任何组织或个人不得以刺探、侵扰、泄露、公开等方式侵害他人隐私权。

四、建议与总结

1. 收集证据是关键
   无论从哪个角度起诉，均需提供充分证据证明对方存在过错行为及您的损害后果。建议及时保存聊天记录、录音、视频、照片等证据。

2. 咨询专业律师，制定诉讼策略
   法律关系复杂，建议根据具体情况咨询专业律师，制定合适的诉讼策略（如选择起诉人格权侵权、离婚损害赔偿或其他法律关系）。

3. 理性维权，避免冲突升级
   在维权过程中，建议保持理性，避免与对方发生直接冲突，防止事态扩大。

如有进一步疑问或需要具体法律帮助，可直接向我咨询。