结论：说对方是“害人精”，一般情况下对方难以直接以此为由起诉并获得法律上的支持，但若该言论构成侮辱或诽谤，且情节严重，则对方可能通过法律途径维护自身权益。
分析过程
言论性质与法律后果：
- 日常言论：在日常交流中，使用“害人精”这样的词汇，往往被视为一种情绪化的表达，而非客观的事实陈述。如果这种言论并未造成对方名誉的实质性损害，或者损害程度较轻，那么对方通常难以直接以此为由提起诉讼并获得法律上的支持。
- 侮辱或诽谤：然而，如果“害人精”这一言论被公开传播，且足以导致他人对被指责者产生负面评价，或者该言论本身包含不实信息，对被指责者的名誉造成了实质性损害，那么这种行为就可能构成侮辱或诽谤。根据《中华人民共和国刑法》的相关规定，侮辱罪和诽谤罪都是可能被追究刑事责任的。同时，根据《中华人民共和国民法典》中关于名誉权的规定，被侵权者也有权要求侵权者承担民事责任，包括停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等。
法律途径与维权方式：
- 刑事自诉：如果“害人精”的言论构成了侮辱或诽谤罪，且情节严重，那么被侵权者可以选择向人民法院提起刑事自诉，要求追究侵权者的刑事责任。
- 民事诉讼：除了刑事自诉外，被侵权者还可以选择提起民事诉讼，要求侵权者承担民事责任。在民事诉讼中，被侵权者需要提供充分的证据证明侵权者的行为对其名誉造成了损害，并要求侵权者进行相应的赔偿。
建议与注意事项：
- 谨慎言论：在日常生活中，我们应该谨慎使用可能引发争议的词汇，避免对他人造成不必要的伤害。
- 保留证据：如果发现自己或他人遭受了侮辱或诽谤，应该及时保留相关证据，如聊天记录、录音录像等，以便在需要时进行维权。
- 寻求法律帮助：如果面临复杂的法律问题或不确定如何维权，建议及时咨询专业律师，以获取更准确的法律建议和帮助。
总结与进一步思考：说对方是“害人精”这样的言论，在一般情况下可能不会直接引发法律纠纷。但如果该言论构成了侮辱或诽谤，且情节严重，那么对方就有可能通过法律途径来维护自己的权益。因此，我们在日常生活中应该尊重他人，避免使用可能引发争议的词汇。如果有任何法律问题或疑虑，可以直接向我咨询，我会为你提供专业的法律建议和帮助。