若警察调解不成功，你可以考虑通过法律途径解决该侵权损害（人格权）纠纷，具体有以下几种处理方式：
提起民事诉讼：
- 法律依据：根据《中华人民共和国民法典》的相关规定，人格权受到侵害的，受害人有权依照本法和其他法律的规定请求行为人承担民事责任。在此情况下，对方辱骂你侵犯了你的名誉权，而你动手打人则可能侵犯了对方的身体权或健康权。若调解不成，你可以向法院提起民事诉讼，要求对方就辱骂行为承担侵权责任，如赔礼道歉、赔偿精神损失等。同时，若对方也提起诉讼，你也可能需就打人行为承担相应的民事责任。
- 诉讼准备：在提起诉讼前，你需要收集相关证据，如辱骂的录音、视频、证人证言等，以证明对方存在辱骂行为。同时，若你因打人行为被对方起诉，你也需要准备相关证据来辩护或减轻自己的责任。
- 诉讼流程：向法院提交起诉状及相关证据，法院受理后将安排开庭审理。在庭审过程中，双方将就争议事实进行举证、质证和辩论。法院将根据事实和法律规定作出判决。
考虑刑事自诉（若构成犯罪）：
- 特殊情况：虽然一般情况下，辱骂和打架行为不构成犯罪，但若辱骂行为严重到构成侮辱罪（如公然侮辱他人，情节严重的），或者打架行为导致对方轻伤以上后果，构成故意伤害罪的，你可以考虑向法院提起刑事自诉。
- 刑事自诉流程：与民事诉讼类似，你需要向法院提交自诉状及相关证据。法院受理后将进行审理，并根据事实和法律规定作出判决。若构成犯罪，对方将承担刑事责任。
继续寻求调解或和解：
- 调解机构：除了警察调解外，你还可以寻求其他调解机构的帮助，如人民调解委员会、社区调解中心等。这些机构通常具有更专业的调解能力和更丰富的调解经验，可能有助于双方达成和解。
- 和解协议：若双方愿意和解，可以签订和解协议。和解协议应明确双方的权利义务、赔偿金额、履行方式等条款。和解协议具有法律效力，双方应严格遵守。
在处理此类纠纷时，你需要注意以下几点：
- 保持冷静：在纠纷发生时，保持冷静和理智至关重要。避免情绪化行为导致纠纷升级或产生更严重的后果。
- 收集证据：无论选择哪种处理方式，收集相关证据都是关键。证据是证明事实、维护自己权益的重要依据。
- 咨询专业律师：在处理复杂或涉及法律问题的纠纷时，咨询专业律师的意见是非常必要的。律师可以为你提供专业的法律建议和指导，帮助你更好地维护自己的权益。
若你对此类纠纷的处理仍有疑问或需要进一步的法律帮助，请直接向我咨询。我将根据你的具体情况提供详细的法律建议和指导。