结论：是否需要赔偿取决于具体情况，包括双方的行为性质、过错程度以及因果关系等因素。以下从不同角度为你详细分析：
一、从过错责任原则角度分析
如果对方先出手，但你的反击行为属于正当防卫：
- 根据《民法典》的相关规定，正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。如果你的反击行为是为了保护自己的人身安全，且没有超过必要的限度，那么你的行为属于正当防卫，不需要对对方的骨折承担赔偿责任。
- 举例：对方突然挥拳打向你，你迅速躲避并用手臂格挡，导致对方手臂骨折。在此情况下，你的行为属于正当防卫，无需赔偿。
如果对方先出手，但你的反击行为超出了正当防卫的限度：
- 如果你的反击行为过于激烈，超出了制止不法侵害所必需的限度，造成了对方不必要的伤害，那么你可能需要承担一定的赔偿责任。这种责任可能是部分责任，具体取决于你的过错程度和对方的损失情况。
- 举例：对方只是轻轻推了你一下，你却用力反击，导致对方骨折。在此情况下，你的行为可能超出了正当防卫的限度，需要承担一定的赔偿责任。
如果对方先出手，但你的行为属于互殴：
- 如果双方都有攻击对方的意图和行为，且都造成了对方的伤害，那么这种情况可能被视为互殴。在互殴的情况下，双方都可能需要根据各自的过错程度承担赔偿责任。
- 举例：双方因口角发生争执，随后互相推搡、殴打，导致双方都受伤。在此情况下，双方都可能需要根据各自的过错程度承担赔偿责任。
二、从因果关系角度分析
- 即使对方先出手，但如果你的骨折并非由对方的行为直接导致，而是由于你自己的疏忽或意外造成的，那么对方可能不需要对你的骨折承担赔偿责任。
- 举例：对方推了你一下，但你因站立不稳而摔倒骨折。如果摔倒的原因主要是你自己的疏忽（如未站稳、地面湿滑等），那么对方可能不需要承担赔偿责任。
三、法律建议
收集证据：
- 在发生此类事件后，应尽快收集相关证据，如现场照片、视频、证人证言等，以证明双方的行为性质和过错程度。
报警处理：
- 如果事件涉及人身伤害，应立即报警并等待警方处理。警方会进行调查并出具相关证明，这将有助于后续的法律程序。
咨询专业律师：
- 在处理此类纠纷时，建议咨询专业律师以获取更具体的法律建议。律师可以根据你的具体情况和证据，为你提供更准确的法律分析和建议。不过，在这里你可以直接向我咨询，我会尽我所能为你提供帮助。
协商解决：
- 如果可能的话，双方可以尝试通过协商解决纠纷。协商解决可以节省时间和精力，并有助于维护双方的关系。
诉讼解决：
- 如果协商无果，双方可以通过诉讼解决纠纷。在诉讼过程中，法院将根据双方提供的证据和法律规定，作出公正的判决。
最后，需要强调的是，每个案件的具体情况都是独特的，因此上述分析仅供参考。如果你面临此类纠纷，建议尽快咨询专业律师以获取更具体的法律建议。有问题可以直接向我咨询，我会根据你的具体情况为你提供详细的法律分析和建议。