最坏的结果是您可能因殴打他人而面临治安管理处罚，同时如果对方提起民事诉讼，您还可能需要承担民事赔偿责任。以下从不同角度为您详细分析：
一、治安管理处罚角度
法律依据：
- 根据《中华人民共和国治安管理处罚法》第四十三条：“殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。”
情节认定：
- 在您的情况下，虽然对方没什么伤，但您确实实施了殴打行为（打了他两巴掌），这通常会被视为“情节较轻”的情形，但具体还需由公安机关根据实际情况进行判断。
- 如果对方辱骂在先，这一情节可能会在处罚时作为考虑因素，但并不能完全免除您的法律责任。辱骂行为本身并不构成您殴打他人的合法理由。
可能后果：
- 您可能会面临五日以下拘留或者五百元以下罚款的处罚。
二、民事赔偿责任角度
法律依据：
- 根据《中华人民共和国民法典》第一千一百六十五条：“行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。”
- 以及第一千一百七十九条：“侵害他人造成人身损害的，应当赔偿医疗费、护理费、交通费、营养费、住院伙食补助费等为治疗和康复支出的合理费用，以及因误工减少的收入。”
赔偿范围：
- 即使对方没什么伤，但如果因此产生了医疗费、交通费等合理费用，您仍然需要承担赔偿责任。
- 如果对方因此遭受了精神损害（如因辱骂和殴打导致的心理创伤），虽然精神损害赔偿的认定较为严格，但在某些情况下，法院也可能会支持一定的精神损害抚慰金。
诉讼风险：
- 如果对方不同意私了，并选择向法院提起民事诉讼，您将需要承担应诉的责任，并可能面临法院判决的赔偿责任。
三、综合建议
协商解决：
- 尽管对方不同意私了，但您仍然可以尝试通过协商的方式解决纠纷，比如提出合理的赔偿方案，以避免进一步的法律纠纷。
准备应诉：
- 如果协商无果，您需要做好应诉的准备，包括收集相关证据（如现场监控、证人证言等）以证明自己的行为并非无故或恶意，并准备应对对方可能提出的赔偿请求。
法律咨询：
- 在整个过程中，如果您有任何疑问或需要进一步的法律帮助，可以直接向我咨询。我会根据您的具体情况提供专业的法律意见和帮助。
最后需要强调的是，无论对方是否有过错，殴打他人都是不被法律所允许的行为。在处理此类纠纷时，请务必保持冷静和理性，通过合法途径解决问题。