结论：在此情况下，你可能会面临治安管理处罚，同时如果对方提起民事诉讼要求赔偿，你也可能需要承担相应的民事责任。以下是具体分析：
一、治安管理处罚角度
辱骂与打人的行为性质：
- 辱骂他人可能构成《中华人民共和国治安管理处罚法》中的“公然侮辱他人”行为，但此行为通常需要达到一定的严重程度，如造成恶劣影响或多次辱骂等，才会受到处罚。不过，即便辱骂行为未单独受到处罚，它也是引发后续冲突的一个因素。
- 动手打人，即使没有造成明显伤害，也可能构成“殴打他人”或“故意伤害他人身体”的行为，根据《中华人民共和国治安管理处罚法》第四十三条，殴打他人的，或者故意伤害他人身体的，处五日以上十日以下拘留，并处二百元以上五百元以下罚款；情节较轻的，处五日以下拘留或者五百元以下罚款。
不接受调解的后果：
- 如果对方不接受调解，公安机关将依法对双方的行为进行调查，并根据调查结果作出相应的治安管理处罚决定。
- 在此情况下，由于你动手打了人，即使没有造成伤害，也很可能受到一定的处罚，如罚款或拘留。
二、民事赔偿角度
民事赔偿的可能性：
- 尽管对方没有受伤，但如果对方认为你的行为对其造成了精神损害（如名誉受损、心理创伤等），对方有权提起民事诉讼要求赔偿。
- 在民事诉讼中，法院将根据双方的过错程度、行为后果等因素，判决是否需要赔偿以及赔偿的金额。
赔偿的范围：
- 如果法院认定你需要赔偿，赔偿范围可能包括精神损害抚慰金等。具体金额将由法院根据案件情况酌情判定。
三、建议与措施
积极沟通：
- 尽管对方目前不接受调解，但你可以尝试通过第三方（如亲友、社区工作人员等）进行沟通，表达歉意并寻求和解的可能性。
准备应对：
- 如果公安机关介入调查，你应积极配合，如实陈述事实，并提供相关证据（如现场监控、证人证言等）。
- 如果对方提起民事诉讼，你应咨询专业律师，了解自己的权利和义务，并准备相应的应诉材料。
反思与改正：
- 无论最终结果如何，你都应反思自己的行为，认识到动手打人是不可取的，并努力改正自己的冲动行为，以避免类似事件再次发生。
最后，遇到此类情况，保持冷静和理智至关重要。动手打人不仅可能使自己面临法律处罚，还可能加剧矛盾，造成更严重的后果。如果有任何进一步的法律问题或需要进一步的帮助，可以直接向我咨询。