结论：在对方打你而他自己骨折的情况下，你是否需要承担责任，取决于具体情形，包括行为性质、伤害程度、过错程度等。以下是对各种可能情形的详细分析：
正当防卫情形：
- 一般正当防卫：如果对方先动手攻击你，你为了保护自身安全免受正在进行的不法侵害，采取了必要的防卫行为，且在合理限度内导致对方骨折，这属于正当防卫。根据《中华人民共和国民法典》第一百八十一条及《中华人民共和国刑法》第二十条，正当防卫造成的损害，你不需承担民事责任，也不负刑事责任。
- 防卫过当：然而，如果你的防卫行为明显超过必要限度，例如对方只是轻微推搡，你却使用棍棒等器械造成对方严重骨折，则可能构成防卫过当。在此情况下，你需承担适当的民事责任，甚至可能负刑事责任，但应减轻或免除处罚。
非正当防卫情形（互殴或报复）：
- 如果双方都有伤害对方的故意，或在冲突中你出于报复、泄愤等目的导致对方骨折，那么你可能需要承担相应的法律责任。这包括民事赔偿、行政处罚乃至刑事责任，具体取决于伤害程度和过错程度。
意外事件情形：
- 如果在冲突过程中，对方因不可预见且你无法控制的原因（如地面障碍物、自行绊倒等）导致骨折，而你对此既无故意也无过失，那么通常你不需要承担责任。但需注意，如果对方能证明你存在过错（如故意设置障碍物），则可能需承担一定责任。
法律后果与处罚：
- 民事责任：无论是否承担刑事责任，如果对方因你的行为（包括正当防卫过当）而骨折，你可能需要承担民事赔偿责任，包括医疗费、误工费、护理费等。具体赔偿数额将根据对方实际损失和法律规定确定。
- 行政责任：如果对方的行为构成违反治安管理处罚法的行为（如殴打他人），即使其因自身原因受伤，公安机关仍可依法对其进行处罚，如警告、罚款、拘留等。同时，如果你的行为也违反了治安管理处罚法，你也可能受到相应的行政处罚。
- 刑事责任：若对方骨折经鉴定构成轻伤或重伤，且你的行为不符合正当防卫或防卫过当的条件，你可能涉嫌故意伤害罪，需承担刑事责任。具体刑罚根据伤害严重程度判定，可能包括拘役、有期徒刑等。
建议：
- 在发生此类事件后，建议立即报警并保留好所有相关证据（如医疗记录、证人证言、监控录像等）。这些证据将有助于警方进行调查，并为你后续的法律程序提供有力支持。
- 在配合警方调查时，保持冷静并如实陈述事实。避免隐瞒或歪曲事实，以免对自己造成不利影响。
- 如果你对法律程序或责任判定存在疑问，可以直接向我咨询。我将根据你的具体情况提供专业的法律意见和帮助。
法律依据：
- 《中华人民共和国民法典》第一百八十一条：因正当防卫造成损害的，不承担民事责任。正当防卫超过必要的限度，造成不应有的损害的，正当防卫人应当承担适当的民事责任。
- 《中华人民共和国刑法》第二十条：为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。正当防卫明显超过必要限度造成重大损害的，应当负刑事责任，但是应当减轻或者免除处罚。
- 《中华人民共和国治安管理处罚法》相关条款：对于违反治安管理行为，公安机关可依法给予警告、罚款、拘留等处罚。