对方骂人导致轻微伤且拒绝调解，将面临行政处罚、民事赔偿及可能的信用记录影响。以下从不同角度详细分析：

一、行政处罚层面

根据《中华人民共和国治安管理处罚法》第四十三条，殴打他人或故意伤害他人身体，即使仅造成轻微伤，也可能受到行政处罚：

• 行政拘留：根据情节轻重，可能面临五日以上十日以下拘留。若存在结伙殴打、伤害残疾人、孕妇等特殊群体，或多次殴打、伤害他人等加重情节，拘留期限可能延长至十日以上十五日以下。
• 罚款：同时，可能被处以二百元以上五百元以下罚款。情节较重时，罚款金额可能增加至五百元以上一千元以下。

二、民事赔偿层面

即使拒绝调解，侵权人仍需承担因伤害行为给对方造成的民事赔偿责任，包括但不限于：

• 医疗费用：治疗费、检查费、药品费等与伤害直接相关的费用，需根据医疗机构出具的收款凭证确定。
• 误工费用：若对方因伤无法工作，需赔偿其因此减少的收入，具体数额根据受害人的误工时间和收入状况确定。
• 护理费用：若对方需要护理，需承担相应的护理费用，费用根据护理人员的收入状况和护理人数、护理期限确定。
• 交通费用：需赔偿受害人及其必要的陪护人员因就医或者转院治疗实际发生的费用。
• 营养费用：根据受害人伤残情况参照医疗机构的意见确定。

若侵权人不履行法院判决的赔偿义务，受害者可以向法院申请强制执行。

三、社会信用记录影响

此类违法行为可能对侵权人的个人社会信用记录产生长期负面影响，影响其未来的生活和工作，如贷款、就业等方面可能受到限制。

四、法律程序应对

若对方坚持通过法律途径追究责任，侵权人需要积极应对包括诉讼在内的法律程序，如提交证据、参加庭审等。

五、建议

面对此类情况，侵权人应：

• 积极配合调查：如实陈述事件经过，配合公安机关的调查处理，以争取从轻或减轻处罚。
• 收集有利证据：尽量收集对自己有利的证据，如现场监控录像、证人证言等，以证明自己的行为性质或对方的过错程度。
• 主动承担责任：若确实存在过错并愿意承担责任，主动接受处罚并寻求与受害方的和解可能是一个更为明智的选择，以减少法律纠纷和负面影响。

若您遇到此类问题，可直接向我咨询，我将根据您的具体情况提供详细的法律建议。