结论：说别人“不是男人”这一行为本身，通常不构成可以直接起诉的法定事由，但可能涉及名誉权侵权等民事纠纷，具体需结合行为的具体情境、造成的后果等因素来判断。

分析如下：

1. 名誉权侵权角度：

   • 法律依据：根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。说别人“不是男人”若被认定为侮辱性言论，且该言论在公开场合传播，对他人名誉造成了损害，那么受害者有权要求侵权者承担民事责任，包括停止侵害、恢复名誉、消除影响、赔礼道歉及赔偿损失等。
   • 具体情境：是否构成名誉权侵权，需考虑言论的传播范围、对受害者社会评价的影响程度等因素。例如，若该言论仅在私下场合提及，且未对受害者造成明显负面影响，则可能不构成名誉权侵权。

2. 其他法律角度：

   • 刑事责任：在一般情况下，说别人“不是男人”并不构成刑事犯罪。但如果该言论伴随着其他恶劣行为，如威胁、恐吓等，且情节严重，可能触犯《中华人民共和国刑法》中关于侮辱罪、诽谤罪等相关规定，但这种情况较为罕见。
   • 行政责任：若该言论在公共场所发表，且扰乱了公共秩序，可能触犯《中华人民共和国治安管理处罚法》的相关规定，受到行政处罚。但同样，这种情况也需要具体分析言论的内容、传播方式及造成的后果等因素。

3. 实际建议：

   • 沟通协商：若因言论产生纠纷，建议双方首先尝试通过沟通协商解决问题，避免矛盾升级。
   • 收集证据：若协商无果，受害者可以收集相关证据，如言论的录音、录像、证人证言等，以证明侵权行为的存在及造成的损害。
   • 寻求法律帮助：在必要时，受害者可以寻求专业律师的帮助，通过法律途径维护自己的合法权益。

总结：说别人“不是男人”这一行为，在大多数情况下并不构成可以直接起诉的法定事由。但若该行为被认定为侮辱性言论，且对他人名誉造成了损害，则可能涉及名誉权侵权等民事纠纷。因此，在发表言论时，应尊重他人的感受和权益，避免使用侮辱性或攻击性的语言。若遇到相关纠纷，建议及时咨询专业律师，以便更好地维护自己的合法权益。