结论：对方先动手打你，你还手时不小心伤到自己导致骨折，对方是否需要承担责任，这取决于多种因素，包括你的行为性质、伤害程度、过错程度等。以下是对此问题的详细分析：
行为性质与责任判定
- 正当防卫：如果对方先动手，你为了保护自己的人身安全免受正在进行的不法侵害，采取了必要的防卫行为，且在合理限度内，即使你不小心伤到自己导致骨折，这仍然属于正当防卫的范畴。在此情况下，对方因其先动手的行为可能需要承担一定的法律责任，而你通常不需因自己的正当防卫行为承担责任。但需注意，若你的防卫行为明显超过必要限度，如对方只是轻微推搡，你却使用棍棒等造成自己严重伤害，则可能被视为防卫过当，此时你可能需要承担一定的责任。不过，就你描述的情况来看，自己伤到骨折通常不属于防卫过当的典型情形。
- 非正当防卫（如互殴或报复）：如果双方都有伤害对方的故意，或在冲突中你出于报复、泄愤等目的导致自己骨折，那么你可能需承担相应的法律责任，包括民事赔偿等。但这种情况较为少见，且需要具体证据来支持。
伤害程度与法律责任
- 无论何种情况，你自己的骨折伤害程度并不直接影响对方是否需要承担责任。但如果你因对方的攻击行为而受伤（尽管是你自己不小心造成的骨折，但若与对方攻击行为有直接关联），你可能有权要求对方承担一定的民事赔偿责任，如医疗费、误工费等。然而，这需要具体证据来证明你的骨折与对方攻击行为之间的因果关系。
过错程度与责任分担
- 在判断责任时，需考虑双方的过错程度。若对方先动手且你的反应属于合理自卫，你的责任可能会减轻。若双方都有过错，则根据各自过错程度确定责任分担。例如，如果对方先动手，但你在还手过程中使用了过度的力量或方式，导致自己骨折，那么你可能也需要承担一定的责任。
法律程序与应对建议
- 发生此类事件后，建议立即报警并寻求法律援助。警方将进行调查，并根据调查结果决定是否立案处理。你可能需要配合警方调查，提供证言和证据。在此过程中，保持冷静，如实陈述事实，避免隐瞒或歪曲。同时，保留好所有与事件相关的证据，如医疗记录、证人证言、监控录像等，以备不时之需。
特殊情况考虑：
- 如果在冲突过程中，由于不可预见且你无法控制的原因导致自己骨折（如地面湿滑、障碍物等），而对方对此既无故意也无过失，则对方通常不需承担责任。但这种情况较为少见，且需要具体证据来支持。
法律背景：
- 根据《中华人民共和国民法典》的相关规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。同时，被侵权人对同一损害的发生或者扩大有过错的，可以减轻侵权人的责任。在正当防卫的情况下，因正当防卫造成损害的，不承担民事责任。但正当防卫超过必要的限度，造成不应有的损害的，正当防卫人应当承担适当的民事责任。
建议：
- 鉴于此类事件的复杂性，建议你及时向我咨询，以便更准确地了解自身权益和赔偿途径。同时，务必妥善保留所有相关证据，以备不时之需。在处理此类事件时，保持冷静和理性至关重要，避免采取过激或非法的行为来解决问题。