结论：您因被冤枉辱骂诅咒而推倒对方致其骨折，是否需要赔偿取决于对方辱骂行为的过错程度、您的防卫行为是否适当以及是否存在其他法定免责事由。以下从不同角度为您详细分析：
一、对方辱骂行为的过错与责任
对方冤枉、辱骂、诅咒您及家人的行为，明显侵犯了您的人格权，尤其是名誉权和人格尊严权。根据《中华人民共和国民法典》的相关规定，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。对方的行为构成侵权，应当承担相应的民事责任，包括停止侵害、赔礼道歉、赔偿损失等。
二、您的防卫行为是否适当
正当防卫的认定：
- 正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为。
- 在您的情况下，如果对方的辱骂行为已经严重到足以引发您合理的恐惧或愤怒，且您推倒对方的行为是为了制止这种不法侵害，那么您的行为可能构成正当防卫。
- 然而，正当防卫的限度是不得超过必要限度造成重大损害。如果您的推倒行为导致对方骨折，且这种损害明显超出了制止辱骂行为所必要的限度，那么您的行为可能不被认定为正当防卫。
防卫过当的责任：
- 如果您的防卫行为超过了必要限度，造成了不应有的损害，那么您应当承担适当的民事责任。
- 在这种情况下，您可能需要赔偿对方因骨折而产生的医疗费、误工费、护理费等合理费用。但考虑到对方也存在过错，您可以主张减轻赔偿责任。
三、其他法定免责事由
对方过错：
- 由于对方存在明显的过错（即辱骂行为），您可以主张对方承担主要或全部责任。
- 在司法实践中，法院会根据双方的过错程度来划分责任比例。如果对方的过错程度较高，您可能只需承担较小的赔偿责任或甚至无需赔偿。
不可抗力或意外事件：
- 如果您的推倒行为是由于不可抗力（如地震、台风等自然灾害）或意外事件（如突然滑倒）导致的，且您无法预见、无法避免且无法克服，那么您可能无需承担赔偿责任。
- 但在您的情况下，推倒行为更可能是由对方的辱骂行为引发的，因此这一免责事由可能不适用。
四、建议与措施
收集证据：
- 尽快收集对方辱骂您的证据，如录音、录像、证人证言等。
- 同时，保留对方骨折的相关医疗记录、费用单据等，以备后续可能的法律纠纷。
协商解决：
- 在证据充分的情况下，您可以尝试与对方协商解决赔偿事宜。
- 协商时，可以明确指出对方的过错行为，并主张减轻或免除您的赔偿责任。
法律途径：
- 如果协商无果，您可以考虑通过法律途径解决纠纷。
- 可以向法院提起诉讼，要求对方承担侵权责任，并主张您的防卫行为属于正当防卫或至少存在过错相抵的情况。
最后，我建议您在处理此类纠纷时保持冷静和理性，避免采取过激行为。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。