若被侮辱人不接受调解，侮辱人可能面临的处罚主要取决于侮辱行为的性质和严重程度，具体分为治安管理处罚和刑事处罚两种情况。以下是对此问题的详细分析：
一、治安管理处罚
法律依据：
- 根据《中华人民共和国治安管理处罚法》第四十二条的规定，公然侮辱他人的行为可能面临五日以下拘留或五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
适用条件：
- 侮辱行为未达到犯罪程度，即未构成侮辱罪。
- 侮辱行为具有公然性，即在不特定多数人面前进行。
- 被侮辱人不接受调解，或调解未达成协议。
处罚结果：
- 侮辱人将受到行政拘留和/或罚款的处罚，具体处罚力度根据侮辱行为的情节轻重而定。
二、刑事处罚
法律依据：
- 若侮辱行为构成犯罪，如侮辱罪，则可能面临更严厉的刑事处罚。根据《中华人民共和国刑法》的相关规定，侮辱罪是指使用暴力或者以其他方法，公然贬损他人人格，破坏他人名誉，情节严重的行为。
适用条件：
- 侮辱行为情节严重，如多次侮辱、造成严重后果等。
- 侮辱行为具有公然性，且足以损害他人名誉。
- 被侮辱人不接受调解，或调解未达成协议，且侮辱人拒绝承担民事责任或刑事责任。
处罚结果：
- 侮辱人可能面临有期徒刑、拘役、管制或剥夺政治权利等刑事处罚。具体刑罚力度根据侮辱行为的情节严重程度、社会影响等因素综合考量。
三、其他法律后果
民事赔偿：
- 无论侮辱行为是否构成犯罪，侮辱人都可能需要承担民事赔偿责任，包括赔偿被侮辱人的精神损害抚慰金、医疗费、误工费等实际损失。
社会评价降低：
- 侮辱行为可能导致侮辱人的社会评价降低，影响其个人声誉和职业发展。
四、建议与提醒
保留证据：
- 被侮辱人应尽可能保留与侮辱行为相关的证据，如聊天记录、录音、视频等，以便在需要时向公安机关报案或向法院提起诉讼。
及时报案：
- 若被侮辱人认为侮辱行为已构成犯罪或严重侵犯其合法权益，应及时向公安机关报案，以便公安机关及时介入调查并依法处理。
寻求法律帮助：
- 在处理此类纠纷时，被侮辱人可以寻求专业律师的帮助，以便更好地维护自己的合法权益。
总结来说，若被侮辱人不接受调解，侮辱人可能面临的处罚包括治安管理处罚和刑事处罚两种。具体处罚力度取决于侮辱行为的性质和严重程度。同时，侮辱人还可能需要承担民事赔偿责任并面临社会评价降低等后果。因此，建议侮辱人尊重他人人格尊严和名誉权，避免实施侮辱行为；若已实施侮辱行为，应积极承担法律责任并寻求和解途径以减轻法律后果。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。