被人骂“神经病”，从法律角度而言，您是有权采取一定措施维护自身权益的，但能否直接起诉对方需视具体情况而定。以下是对此问题的详细分析：
一、辱骂行为可能构成的法律侵权
名誉权侵权：
- 根据《中华人民共和国民法典》的相关规定，自然人享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。辱骂他人“神经病”可能构成对他人名誉权的侵害，尤其是当这种辱骂在公开场合进行，或者对他人造成了实际的社会评价降低时。
精神损害：
- 辱骂行为还可能对受害者的精神健康造成损害，如导致受害者出现焦虑、抑郁等情绪问题。在极端情况下，如果辱骂行为导致了严重的精神损害后果，受害者还可以主张精神损害赔偿。
二、能否直接起诉对方
一般情况：
- 如果辱骂行为情节轻微，且未造成严重后果，通常不建议直接起诉。在这种情况下，您可以考虑通过协商、调解等方式解决纠纷，或者向相关部门（如社区、单位等）反映情况，寻求帮助。
情节严重或造成严重后果：
- 如果辱骂行为情节严重，如多次辱骂、在公开场合辱骂、辱骂内容恶劣等，或者造成了严重的后果，如导致您精神失常、社会评价显著降低等，那么您可以考虑向法院提起诉讼，要求对方承担侵权责任。
- 在提起诉讼时，您需要提供充分的证据证明对方存在辱骂行为，以及该行为对您造成了损害。证据可以包括证人证言、录音录像、聊天记录等。
三、其他维权途径
报警处理：
- 无论辱骂行为是否构成犯罪，您都可以选择报警处理。警方会根据实际情况进行调查，并根据调查结果依法处理。如果辱骂行为违反了《中华人民共和国治安管理处罚法》，警方可能会对对方进行行政处罚。
向相关部门投诉：
- 如果辱骂行为发生在特定场合（如工作场所、学校等），您还可以向相关部门（如人力资源部门、学校管理部门等）投诉，寻求帮助和解决纠纷。
四、建议与注意事项
保持冷静：
- 在遭遇辱骂时，建议您尽量保持冷静，避免与对方发生直接冲突。这有助于您更好地收集证据和保护自身安全。
及时取证：
- 如果可能的话，及时取证是非常重要的。您可以通过录音、录像、拍照等方式记录辱骂行为，或者保存相关的聊天记录、短信等证据。
咨询专业律师：
- 如果您对如何维权感到困惑或不确定，可以咨询专业律师（即向我咨询）。我可以根据您的具体情况提供法律建议和帮助，指导您如何收集证据、提起诉讼等。
总结来说，被人骂“神经病”时，您有权采取一定措施维护自身权益。但能否直接起诉对方需视具体情况而定。如果辱骂行为情节严重或造成了严重后果，您可以考虑向法院提起诉讼；否则，您可以考虑通过协商、调解或报警等方式解决纠纷。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。