结论：对方说您一句“神经病”，一般情况下不能直接追究其法律责任，但在特定情形下可能构成侵权，您可以要求对方承担相应责任。以下从不同角度为您详细分析：

从一般情况来看

在日常交流中，偶尔的一句不太恰当的话语，比如称呼对方“神经病”，如果没有造成实际的损害后果，比如没有导致您身体受伤、精神严重受损（如患上严重的精神疾病等），也没有对您的名誉造成广泛且恶劣的影响（比如没有在公开场合、大量人员面前诋毁您，或者没有通过网络等途径广泛传播该言论），通常不构成法律上的侵权行为，也就无法直接追究对方的法律责任。这是因为法律对于侵权行为的认定需要满足一定的构成要件，包括有侵权行为、损害后果、侵权行为与损害后果之间存在因果关系以及行为人存在过错等。仅仅一句不太友好的话语，往往难以同时满足这些构成要件。

从可能构成侵权的特定情形来看

1. 名誉权侵权：如果对方在公开场合，例如在单位、学校、社区等人员众多的地方，或者在有较多人关注的网络平台上，大声说您“神经病”，并且该言论被很多人听到或者看到，导致您的社会评价降低，比如周围的人开始对您产生异样的眼光、疏远您等，那么对方的行为可能侵犯了您的名誉权。根据《中华人民共和国民法典》第一千零二十四条规定：“民事主体享有名誉权。任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。名誉是对民事主体的品德、声望、才能、信用等的社会评价。”在这种情况下，您可以要求对方停止侵害、恢复名誉、消除影响、赔礼道歉，如果给您造成了经济损失或者精神损害，还可以要求对方赔偿相应的损失。
2. 精神损害赔偿：要是对方长期、反复地对您说“神经病”，或者使用极其恶劣的语气和方式，导致您精神上遭受了严重的痛苦，比如出现了焦虑、抑郁、失眠等症状，甚至被诊断为精神方面的疾病，那么您可以主张精神损害赔偿。不过，精神损害赔偿的认定比较严格，需要您提供充分的证据证明您的精神损害与对方的言论之间存在直接的因果关系，以及精神损害的程度达到了较为严重的标准。

给您的一些建议

1. 收集证据：如果对方的行为让您觉得受到了侵害，您要注意收集相关的证据，比如证人证言（让当时在场听到对方言论的人为您作证）、录音录像（如果可能的话，录下对方说您“神经病”的过程）、聊天记录（如果是在网络交流中对方说的）等。这些证据将有助于您在后续主张权利时证明对方的行为以及该行为给您造成的影响。
2. 与对方协商：在收集好证据后，您可以先尝试与对方进行协商，告知对方其行为已经给您造成了伤害，要求对方停止侵害并赔礼道歉。如果对方愿意协商解决，这是比较快捷、平和的方式。
3. 寻求法律帮助：如果协商无果，您可以向法院提起诉讼，通过法律途径维护自己的合法权益。在诉讼过程中，您需要将收集到的证据提交给法院，以支持您的诉讼请求。

如果您还有其他关于侵权损害方面的问题，欢迎直接向我咨询。