结论：若你不给对方赔偿，可能会面临对方提起民事诉讼要求赔偿、刑事责任追究（如果构成犯罪）以及信用记录受影响等后果。
分析：
民事赔偿方面：
- 你将对方打成轻伤二级，已经构成了对他人身体权的侵害，依法应当承担民事赔偿责任。这包括医疗费、误工费、护理费、营养费、交通费等合理费用，以及因伤致残的残疾赔偿金等。
- 如果对方提起民事诉讼要求赔偿，法院会根据双方的过错程度、损害后果等因素，判决你承担相应的赔偿责任。若你拒不履行判决，对方可以申请法院强制执行，这可能会对你的财产、信用记录等产生不良影响。
刑事责任方面：
- 根据《中华人民共和国刑法》的相关规定，故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。虽然你的行为可能是在对方辱骂你的情况下发生的，但并不能完全免除你的刑事责任。
- 如果对方报警，公安机关会进行调查取证，并根据事实情况决定是否立案侦查。若构成犯罪，你将面临刑事责任的追究，包括可能的刑罚和刑事附带民事赔偿。
信用记录方面：
- 如果你因拒不履行民事赔偿判决而被法院强制执行，这可能会对你的个人信用记录产生负面影响。在未来的贷款、信用卡申请等方面，你可能会受到限制或面临更高的利率。
建议：
- 积极协商：在对方提出赔偿要求时，你可以尝试与对方进行协商，看是否能够达成一个双方都能接受的赔偿协议。这有助于减少纠纷和矛盾，避免进一步的法律后果。
- 咨询专业律师：如果你对赔偿金额、责任划分等方面存在疑问或争议，建议咨询专业律师以获取更具体的法律建议和指导。我可以为你提供专业的法律分析和建议，帮助你更好地应对这一纠纷。
- 准备应对诉讼：如果对方坚持要求赔偿并提起诉讼，你需要做好应对诉讼的准备。这包括收集证据、准备答辩材料、参加庭审等。在诉讼过程中，你可以积极主张自己的权益，但也要尊重法院的判决结果。
后续行动：
- 如果你决定与对方协商赔偿事宜，建议保持冷静和理性，避免情绪化的行为导致纠纷进一步升级。
- 如果你需要咨询专业律师或准备应对诉讼，可以直接向我提问，我会为你提供详细的法律分析和建议。