结论：在互殴过程中对方手骨折且不是你打的情况下，责任大小需根据具体情形判断，可能存在以下几种情况：

1. 正当防卫情形：

   • 情形描述：若对方先动手攻击你，你在合理限度内进行反击以保护自身安全，且对方因自身动作失误或撞击到你用于防卫的物品而骨折，此行为构成正当防卫。
   • 责任判定：根据《中华人民共和国民法典》第一百八十一条及《中华人民共和国刑法》第二十条，正当防卫造成的损害不承担民事责任，也不负刑事责任。因此，你无需对对方的骨折承担责任，反而对方可能因其殴打行为承担法律责任。

2. 防卫过当情形：

   • 情形描述：若对方动手打你，你采取的防卫行为明显超过必要限度（如使用棍棒等器械回击轻微推搡），导致对方骨折。
   • 责任判定：依据上述法条，防卫过当需承担适当的民事责任，甚至可能负刑事责任，但应减轻或免除处罚。你可能需要赔偿部分损失，并可能面临刑事指控。不过，由于你明确表示对方骨折不是你打的，所以此情形下你承担责任的可能性相对较小，但需结合具体防卫行为是否超出必要限度来判断。

3. 互相斗殴情形：

   • 情形描述：双方争吵后发展为互相打斗，过程中一方骨折。
   • 责任判定：根据《中华人民共和国民法典》第一千一百七十三条，双方都有侵害对方的故意，对损害结果均有过错。责任将根据各自过错大小分担。若你能证明对方骨折并非由你造成，且你在互殴中无重大过错，则你的责任会相对较小。但若你在互殴中也存在过错（如先动手、使用侮辱性语言等），法院或相关机构将依据双方过错程度分配责任。

4. 意外事件情形：

   • 情形描述：对方打你时，因不可预见、不可避免的意外因素（如地面障碍物）导致自己骨折，且你对此无过错。
   • 责任判定：依据《中华人民共和国民法典》第一千一百八十六条，双方对损害发生均无过错时，可能依据公平原则分担损失，但这种分担非基于过错责任。在此情形下，你无需承担主要责任，但可能需根据公平原则承担部分补偿责任。

法律建议：

• 收集证据：无论哪种情形，都应尽可能收集相关证据（如医疗记录、证人证言、监控录像等）以证明自己的清白和对方的过错。
• 报警处理：在互殴发生后，应立即报警并等待警方处理。警方会进行调查并出具相关报告，这将有助于后续的责任判定。
• 咨询律师：由于责任判定涉及复杂的法律问题和事实认定，建议你在处理此类事件时咨询专业律师（即我本人，林威律师，专注于经济纠纷、投资理财、证券基金、债权债务、金融证券、婚姻家庭、民间借贷领域），以便更好地维护自己的合法权益。

可能法律后果：

• 若被判定为正当防卫，则无需承担任何责任。
• 若被判定为防卫过当或互相斗殴中的过错方，则可能需要承担民事赔偿责任，甚至可能面临刑事指控。
• 若被判定为意外事件中的无过错方，则可能无需承担主要责任，但可能需根据公平原则承担部分补偿责任。