结论：针对“神经病人打人然后又被人家打回来”的情况，需要分情况讨论，主要涉及精神病患者打人的法律责任以及被打者的反击行为是否构成正当防卫或防卫过当的问题。
精神病患者打人的法律责任：
- 无民事行为能力或限制民事行为能力：根据《中华人民共和国民法典》的相关规定，精神病患者通常被视为无民事行为能力人或限制民事行为能力人。如果精神病患者打人，其监护人（如父母、配偶等）需要承担民事赔偿责任，包括赔偿被打者的医疗费、护理费、误工费等合理费用。
- 刑事责任：如果精神病患者在打人时具有刑事责任能力（即能够辨认或控制自己的行为），那么其可能需要承担刑事责任。然而，在大多数情况下，精神病患者由于无法辨认或控制自己的行为，因此不承担刑事责任。但如果是间歇性精神病患者在精神正常的时候打人，或者精神病患者经过治疗已经恢复辨认或控制能力后再次打人，那么其可能需要承担刑事责任。
被打者的反击行为：
- 正当防卫：如果被打者在被精神病患者攻击时，为了保护自己的人身安全而采取必要的反击行为，且反击行为没有超过必要的限度，那么这种行为通常被视为正当防卫，不需要承担法律责任。
- 防卫过当：如果被打者的反击行为超过了必要的限度，造成了不必要的伤害或死亡，那么这种行为可能被视为防卫过当。根据《中华人民共和国刑法》的规定，防卫过当应当负刑事责任，但是应当减轻或者免除处罚。
- 特殊情况：如果被打者知道攻击者是精神病患者，且有能力采取其他避免冲突的方式（如逃跑、报警等），但仍然选择反击并造成严重后果，那么其可能需要承担一定的法律责任。
建议：
- 对于精神病患者打人的情况，被打者应首先确保自己的人身安全，尽量避免与精神病患者发生直接冲突。如果可能的话，应立即报警并寻求帮助。
- 如果被打者不得不采取反击行为，应确保反击行为在必要的限度内，以避免构成防卫过当。
- 对于精神病患者的监护人来说，应加强对患者的监护和管理，防止其再次伤害他人。同时，应积极配合相关部门对患者的治疗和康复工作。
后续行动：
- 如果被打者受到了伤害，应及时就医并保留好相关医疗记录作为证据。
- 如果涉及法律纠纷或需要索赔，被打者可以咨询专业律师（即我，石岳律师，专注于公司事务、经济纠纷、合同纠纷、劳动纠纷、知识产权、侵权纠纷领域）以了解自己的权益和可行的法律途径。
总之，在处理这类复杂情况时，应综合考虑法律、道德和实际情况等多个因素，并寻求专业法律意见以确保自己的权益得到妥善保护。