在“别人骂我我骂回去责任归谁”这一问题中，双方均可能承担一定的责任，具体责任归属需根据双方的行为性质、过错程度及后果等因素综合判断。
骂人者的责任：
- 骂人属于侮辱他人人格的行为，侵犯了他人的名誉权。根据《中华人民共和国治安管理处罚法》第四十二条，公然侮辱他人的，可处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
- 如果骂人行为导致了冲突升级，骂人者在一定程度上是冲突的挑起者，对冲突的发生负有责任。
回骂者的责任：
- 回骂同样属于侮辱他人的行为，也可能构成对他人名誉权的侵犯。
- 回骂者如果因为情绪激动而采取了过激的言语或行为，也可能需要承担相应的法律责任。
双方责任的综合考量：
- 在实际处理中，警方或法院会根据双方的过错程度、行为性质、造成的后果等因素进行综合判断。
- 如果骂人者只是轻微的言语攻击，而回骂者反应过度，导致了更严重的冲突，那么回骂者可能需要承担更大的责任。
- 反之，如果骂人者使用极其恶劣的语言进行人身攻击，严重刺激了回骂者，导致回骂者失去理智而回应，那么骂人者也需要承担一定的责任。
法律建议：
- 保持冷静与克制：在面对冲突时，双方都应保持冷静与克制，避免情绪化的行为。通过沟通、协商等方式解决矛盾，而不是采取辱骂或暴力的手段。
- 及时报警并寻求法律援助：一旦发生冲突，应及时报警并寻求警方的帮助。如果受到伤害或损失，可以向法院提起民事诉讼，要求对方承担相应的法律责任。
- 收集证据：在冲突发生后，应尽可能收集相关证据，如现场视频、证人证言等。这些证据将有助于警方调查取证和法院审理案件。
总之，无论是骂人者还是回骂者，在发生冲突时都应保持冷静与克制，避免采取过激的行为。如果无法协商解决，应及时寻求法律援助以维护自己的合法权益。