关于“别人骂我，我打了他一巴掌，然后他又打了我，这算谁的责任”这个问题，我们需要从多个角度来分析。
法律责任分析：
- 根据《中华人民共和国治安管理处罚法》第四十三条，殴打他人或者故意伤害他人身体的行为，即使未造成明显伤害，也可能受到五日以上十日以下拘留，并处二百元以上五百元以下罚款的处罚。这意味着，无论是你先打他，还是他后来打你，双方都可能面临法律责任。
- 正当防卫是一个重要的考量因素。如果你打他一巴掌是在他持续辱骂你、且你有合理理由认为这种辱骂构成对你的不法侵害，并且你的反击是为了保护自己的人身权利且未超过必要限度，那么你的行为可能构成正当防卫。然而，如果他的辱骂并未构成实际的不法侵害，或者你的反击明显超过了制止不法侵害所必需的程度，那么你的行为就不属于正当防卫。
民事责任分析：
- 除了可能面临的治安管理处罚外，双方还可能涉及民事赔偿责任。根据《中华人民共和国民法典》第一千一百七十九条，侵害他人造成人身损害的，应当赔偿医疗费、护理费、交通费等为治疗和康复支出的合理费用。即使没有造成明显的身体伤害，如果对一方造成精神方面的伤害后果，仍然可以要求对方赔偿精神损害抚慰金等。
实际情况考量：
- 在实际处理中，警方和法院会综合考虑双方的行为、动机、伤害程度以及社会影响等因素来判断责任归属。例如，如果他的辱骂非常恶劣且持续时间长，而你只是出于一时气愤打了他一巴掌，且未造成严重后果，那么警方可能会对你的行为给予较轻的处理。反之，如果你的行为被认定为过度反击或故意伤害，那么你可能面临更严重的法律责任。
综上所述，这个问题并没有一个简单的答案。双方的行为都可能构成违法或不当行为，并可能面临相应的法律责任和民事赔偿责任。因此，在遇到类似情况时，建议保持冷静、理性处理，并尽快寻求专业法律帮助以维护自己的合法权益。如果你有任何进一步的法律问题或需要更详细的法律建议，请直接向我咨询。