如果对方打你造成轻微伤且不同意调解，打人者可能会面临以下惩罚：
行政处罚：
- 根据《中华人民共和国治安管理处罚法》第四十三条，殴打他人或故意伤害他人身体，即使仅造成轻微伤，打人者也可能受到行政处罚。具体来说，可能面临五日以上十日以下行政拘留，并处二百元以上五百元以下罚款。若情节较重，如结伙殴打、伤害特殊群体（如残疾人、孕妇、未成年人或老年人），或多次殴打、伤害他人，拘留期限可能延长至十日以上十五日以下，并处五百元以上一千元以下罚款。
民事赔偿责任：
- 打人者需承担因伤害行为给对方造成的民事赔偿责任。这包括医疗费用（如治疗费、检查费、药品费等）、误工费用（因伤无法工作导致的收入减少）、护理费用（若需要护理）、交通费用（就医或转院治疗实际发生的费用）以及营养费用（根据伤残情况参照医疗机构意见确定）。
- 如果打人者不履行法院判决的赔偿义务，受害者可以向法院申请强制执行，这可能包括查封、扣押、拍卖打人者的财产等措施。
其他潜在后果：
- 社会信用记录影响：此类违法行为可能对打人者的个人社会信用记录产生长期负面影响，影响其未来的生活和工作，如贷款、租房、求职等方面可能受到限制。
- 法律程序应对：如果对方坚持通过法律途径追究责任，打人者需要积极应对包括诉讼在内的法律程序，这可能需要投入大量的时间和精力。
建议：
- 保持冷静和理性：在处理此类纠纷时，保持冷静和理性至关重要。避免情绪化的反应，以免加剧矛盾或导致更严重的法律后果。
- 收集证据：尽量收集与事件相关的证据，如医疗记录、照片、视频、证人证言等。这些证据在后续的法律程序中可能起到关键作用。
- 及时咨询：如果你作为受害者，在面临此类情况时，可以直接向我咨询具体的法律程序和应对策略。我会根据你的具体情况，提供专业的法律建议和帮助。
综上所述，将对方打成轻微伤且对方不同意调解时，打人者不仅可能面临行政处罚和民事赔偿责任，还可能承受社会信用记录受损和法律程序应对等额外后果。因此，建议双方尽量通过调解解决纠纷，以避免不必要的法律麻烦。如果作为受害者，你有任何疑问或需要进一步的法律帮助，请随时向我咨询。