结论：若对方不调解，您可能面临治安管理处罚，同时若对方因您的行为遭受损害，您还需承担相应的民事赔偿责任。而骂人者若存在侮辱、诽谤等侵犯您人格权的行为，您也有权要求其承担相应的法律责任。
分析如下：
一、若对方不调解，您可能面临的法律后果
治安管理处罚：
- 根据《中华人民共和国治安管理处罚法》的相关规定，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
- 在您的情况下，虽然对方先骂人，但您动手打了对方一巴掌，这一行为可能构成殴打他人，因此您可能面临上述治安管理处罚。
民事赔偿责任：
- 若对方因您的行为遭受了身体伤害或其他损失，您还需承担相应的民事赔偿责任。这包括医疗费、误工费、护理费等因您的行为导致的直接经济损失。
二、骂人者可能承担的法律责任
侵犯人格权：
- 骂人者若存在侮辱、诽谤等侵犯您人格权的行为，根据《中华人民共和国民法典》的相关规定，您有权要求其承担停止侵害、恢复名誉、消除影响、赔礼道歉等民事责任。
- 若骂人者的行为给您造成了严重的精神损害，您还有权要求其赔偿精神损害抚慰金。
治安管理处罚（若情节严重）：
- 若骂人者的行为情节严重，如公然侮辱他人或者捏造事实诽谤他人，且尚不构成犯罪的，根据《中华人民共和国治安管理处罚法》的相关规定，其可能面临五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
三、建议与措施
积极与对方沟通调解：
- 在对方报警后，您可以尝试与对方进行沟通，表达您的歉意，并愿意承担相应的责任，以争取对方的谅解和调解。
配合警方调查：
- 若警方介入调查，您应积极配合，如实陈述事实，提供相关证据，以便警方能够全面、客观地了解案情。
咨询专业律师（此处虽为常规建议，但根据约束条件调整表述）：
- 若您对法律程序或可能面临的法律后果存在疑问，可以直接向我咨询，我会根据您的具体情况提供专业的法律意见和帮助。
保留证据：
- 在处理此类纠纷时，保留相关证据至关重要。您可以保存与对方的聊天记录、录音、视频等，以便在需要时提供证明。
总结：面对此类纠纷，建议您保持冷静，积极与对方沟通调解，并配合警方的调查。同时，您也有权要求骂人者承担其侵犯您人格权的法律责任。若您需要进一步的法律帮助或咨询，请随时向我提问。