结论：对方辱骂你，你将其推倒，若对方不愿意和解，你可能需要承担相应的法律责任，包括民事赔偿和可能的行政处罚或刑事责任。不过，具体责任需根据对方的伤情、事件的具体情况以及相关法律规定来综合判断。以下是对此问题的详细分析：
一、民事责任
赔偿范围：
- 根据《中华人民共和国民法典》第一千一百七十九条，若你的推倒行为导致对方受伤，你需要赔偿对方因治疗和康复支出的合理费用，如医疗费、护理费、交通费等，以及因误工减少的收入。若造成残疾或死亡，还需赔偿相应的残疾赔偿金或死亡赔偿金。
赔偿流程：
- 对方有权要求你进行赔偿，若双方无法达成一致，对方可以向法院提起诉讼，要求你承担民事赔偿责任。
- 法院将根据实际情况判决赔偿数额，若你拒不履行赔偿义务，对方可以向法院申请强制执行。
二、行政责任或刑事责任
行政责任：
- 若你的推倒行为未造成对方严重伤害，但违反了《中华人民共和国治安管理处罚法》的相关规定，如故意伤害他人身体，公安机关可能对你处以拘留和罚款。具体处罚措施将根据伤情和事件的具体情况来决定。
刑事责任：
- 若你的推倒行为导致对方轻伤或更严重的伤害，且构成犯罪，如故意伤害罪，你将需要承担刑事责任。
- 刑事责任的承担并不免除你的民事赔偿责任。在刑事诉讼过程中，对方有权提起附带民事诉讼，要求你赔偿因犯罪行为造成的物质损失。
- 拒绝赔偿可能会被视为没有悔过表现，在量刑时可能会影响法官的判决，可能导致刑期增加或无法获得缓刑。
三、应对建议
收集证据：
- 在事件发生后，尽量收集现场证据，如监控录像、目击证人证言等。这些证据对于后续维权至关重要。
协商和解：
- 尽管对方目前不愿意和解，但你可以尝试通过第三方（如亲友、调解机构等）进行沟通，寻求和解的可能性。和解有助于减轻你的法律责任，并可能避免进一步的法律纠纷。
法律咨询与诉讼：
- 若无法达成和解，建议你咨询专业律师，了解具体的法律责任和应对策略。
- 根据律师的建议，你可以准备应对可能的民事诉讼或刑事诉讼。在诉讼过程中，你需要如实陈述事实，提供相关证据，并积极配合法院的调查和审理工作。
特殊情况说明：
- 若你的推倒行为属于正当防卫或防卫过当，你可能需要根据具体情况承担相应的法律责任。不过，这需要严格的法律认定和证据支持。
- 若对方存在过错或挑衅行为，这可能在一定程度上减轻你的法律责任。但具体减轻程度需根据法院的判决和相关法律规定来决定。
后续行动建议：
- 无论对方是否愿意和解，你都应积极面对可能的法律责任，并主动寻求解决方案。
- 在处理此类纠纷时，保持冷静和理性至关重要。避免采取过激行为或逃避责任，以免加重法律后果。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。