结论：在此情况下，责任划分并非一成不变，而是需要根据双方的行为、过错程度以及损害后果等因素进行综合判断。若你的一耳光是对对方辱骂行为的直接回应，且对方的辱骂行为构成侮辱或诽谤等侵犯人格权的情形，你可能存在一定的自卫性质，但并不意味着你完全免责。同时，双方后续的打架行为及你骨折的损害后果，也需要根据具体情况来分析责任。

分析说明：

1. 对方辱骂行为的性质：

   • 若对方的辱骂行为仅仅是一般的言语冲突，并未达到侮辱、诽谤等侵犯人格权的程度，那么你的回击行为可能被视为不当回应，你在此情况下应承担一定的责任。
   • 若对方的辱骂行为构成侮辱、诽谤等侵犯人格权的情形，你的回击行为可能具有一定的自卫性质，但自卫行为也需要在合理限度内进行，超出必要限度的自卫行为同样需要承担责任。

2. 双方打架行为的责任划分：

   • 在打架过程中，双方均有可能存在过错。若你的一耳光引发了后续的打架行为，你可能需要对打架行为及其导致的损害后果承担部分责任。
   • 若对方的反应过激，导致你骨折等严重后果，对方也可能需要对你的损害承担责任。

3. 损害后果的责任承担：

   • 你的骨折作为损害后果，需要根据双方的过错程度、行为与损害之间的因果关系等因素来划分责任。
   • 若双方均有过错，且行为与损害之间存在因果关系，那么双方可能都需要根据各自的过错程度承担相应的责任。

法律建议：

• 在遇到类似情况时，建议首先保持冷静，避免情绪化的回应。
• 若对方的行为构成侵犯人格权等违法行为，可以通过法律途径维护自己的合法权益，如报警、提起民事诉讼等。
• 在处理此类纠纷时，建议寻求专业律师的帮助，以便更好地维护自己的权益并了解可能的法律后果。

行动指导：

• 收集证据：如可能的话，收集现场监控、目击者证言等证据，以证明双方的行为及过错程度。
• 报警处理：若双方无法协商解决，建议及时报警，由警方进行调解或处理。
• 咨询律师：若涉及法律纠纷，建议咨询专业律师，以便获得更具体的法律建议和指导。