结论：若打人行为造成的伤害轻微伤都算不上，且对方拒绝调解，你可以考虑通过法律途径来维护自己的权益，包括向公安机关报案、提起民事诉讼要求赔偿等。

详细分析：

1. 法律定性：

   • 根据《中华人民共和国治安管理处罚法》的相关规定，殴打他人的，或者故意伤害他人身体的，即使未构成轻微伤，也可能面临行政处罚，如罚款、拘留等。这取决于具体情节，如是否有多次殴打、是否使用工具等。
   • 若伤害程度确实非常轻微，可能不构成治安管理处罚的条件，但这并不意味着对方的行为就是合法的或无需承担任何责任。

2. 调解与报案：

   • 调解是一种非诉讼的解决方式，如果双方能够达成一致，可以签订调解协议，了结此事。但对方拒绝调解，并不意味着你无法维护自己的权益。
   • 你可以向公安机关报案，由公安机关进行调查取证，并根据调查结果决定是否对对方进行行政处罚。即使不构成治安管理处罚，公安机关也可以对双方进行调解或提出处理建议。

3. 民事诉讼：

   • 如果对方的行为给你造成了实际损失（如医疗费、误工费等），你可以向人民法院提起民事诉讼，要求对方进行赔偿。
   • 在民事诉讼中，你需要提供充分的证据来证明对方的行为与你所遭受的损失之间存在因果关系。这可能包括医疗记录、证人证言、监控录像等。

4. 证据收集：

   • 在整个过程中，证据的收集至关重要。你应该尽可能保留与事件相关的所有证据，如现场照片、视频、医疗记录、证人联系方式等。
   • 这些证据将在后续的调解、报案或民事诉讼中发挥关键作用，有助于证明你的主张并维护你的权益。

5. 法律建议：

   • 在处理此类事件时，建议你保持冷静和理性，避免采取过激行为或言语攻击，以免加剧矛盾或引发新的法律问题。
   • 你可以咨询专业律师（比如我）的意见，了解具体的法律程序和可能的结果，以便做出更明智的决策。

后续行动建议：

• 首先，尝试与对方进行再次沟通，看是否能够达成和解或调解协议。
• 如果沟通无果，你可以向公安机关报案，并配合公安机关的调查工作。
• 同时，你可以开始收集相关证据，为可能的民事诉讼做好准备。
• 如有需要，随时向我咨询具体的法律问题或寻求法律帮助。