结论：在此情境下，骂人者可能因侮辱行为承担行政责任，若情节严重还可能涉及刑事责任，同时若其侮辱行为给你造成了精神损害，你还可要求其承担民事赔偿责任。以下为详细分析：
一、行政责任
法律依据：
- 根据《中华人民共和国治安管理处罚法》第四十二条：“有下列行为之一的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款：……（二）公然侮辱他人或者捏造事实诽谤他人的……”。
责任分析：
- 骂人者连续骂人，若构成公然侮辱他人，则可能面临五日以下拘留或者五百元以下罚款的行政处罚。若情节较重，如多次辱骂、在公共场合辱骂造成恶劣影响等，则可能面临五日以上十日以下拘留，并可并处五百元以下罚款。
二、刑事责任（若情节严重）
法律依据：
- 根据《中华人民共和国刑法》第二百四十六条：“以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外”。
责任分析：
- 若骂人者的行为情节严重，如长期辱骂、辱骂内容极其恶劣、造成被害人精神失常或自杀等严重后果，则可能构成侮辱罪，面临三年以下有期徒刑、拘役、管制或者剥夺政治权利的刑事处罚。但需注意，此罪通常需被害人自行告诉，除非严重危害社会秩序和国家利益。
三、民事赔偿责任
法律依据：
- 根据《中华人民共和国民法典》第一千一百六十五条：“行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任”。
- 同时，根据《中华人民共和国民法典》第一千一百八十三条：“侵害自然人人身权益造成严重精神损害的，被侵权人有权请求精神损害赔偿”。
责任分析：
- 若骂人者的侮辱行为给你造成了精神损害，如导致你精神抑郁、焦虑等，你有权要求其承担民事赔偿责任，包括精神损害赔偿。具体赔偿数额需根据损害程度、骂人者的过错程度等因素综合确定。
四、关于你打对方一巴掌的行为
- 虽然你的行为可能出于自卫或情绪激动，但打人行为本身也可能构成违法或犯罪。若对方伤情较轻，你可能面临行政处罚；若伤情较重，如构成轻伤或重伤，则可能面临刑事处罚。因此，在面对冲突时，建议保持冷静，通过合法途径解决问题。
建议：在此情况下，你可以先与骂人者协商解决，若协商无果，可以向公安机关报案或向人民法院提起民事诉讼，要求骂人者承担相应的法律责任。同时，也建议你反思自己的行为，避免类似冲突再次发生。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。