辱骂诽谤行为主要由公安部门和人民法院负责管理，具体取决于行为的性质和后果。以下是从不同角度的详细分析：
一、公安部门的管理
适用情况：
- 当辱骂诽谤行为情节严重，可能构成治安违法或犯罪时，如公然侮辱他人、捏造事实诽谤他人等，公安部门将介入处理。
- 特别是当这些行为对社会公共秩序和国家利益造成重大危害时，即使被害人未提起诉讼，检察院也可能要求公安机关介入调查。
处理流程：
- 受害人可以向违法行为发生地的公安机关报案。
- 公安机关会依法进行调查，根据行为的严重程度，可能给予行政处罚（如拘留、罚款）或立案侦查，追究刑事责任。
法律依据：
- 《中华人民共和国治安管理处罚法》第四十二条规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
- 《中华人民共和国刑法》第二百四十六条规定，以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
二、人民法院的管理
适用情况：
- 当辱骂诽谤行为对受害人的名誉造成了损害，且未构成犯罪或虽构成犯罪但被害人选择通过民事诉讼途径解决时，人民法院将负责审理。
- 特别是当这些行为未对社会公共秩序和国家利益造成重大危害，或者被害人希望通过民事诉讼获得赔偿和恢复名誉时。
处理流程：
- 受害人可以向侵权行为地或者被告住所地的人民法院提起民事诉讼。
- 法院将依法审理，要求侵权人停止侵害、恢复名誉、消除影响、赔礼道歉，并可以要求赔偿损失。
法律依据：
- 《中华人民共和国民法典》第一千零二十四条规定，民事主体享有名誉权，任何组织或者个人不得以侮辱、诽谤等方式侵害他人的名誉权。
三、其他相关部门的管理
网络监管部门：
- 如果辱骂诽谤行为发生在网络上，受害人还可以向网信办等相关网络监管部门举报。
- 这些部门将要求相关网络平台和网络用户进行监管和处理，如删除不当内容、封禁违规账号等。
行业主管部门：
- 对于特定行业内的辱骂诽谤行为，如职场性骚扰中的侮辱行为，受害人也可以向所在单位或相关行业主管部门投诉。
- 这些部门将根据行业规定和内部纪律进行调查和处理。
纪检监察机关：
- 如果辱骂诽谤行为涉及公职人员，受害人可以向纪检监察机关举报。
- 这些机关将对相关公职人员进行纪律审查和监察调查，确保公职人员遵守职业道德和法律法规。
建议：
- 如果您遭遇了辱骂诽谤行为，首先判断行为的性质和后果。
- 如果行为情节严重，可能构成治安违法或犯罪，或者对社会公共秩序和国家利益造成了重大危害，请立即向公安机关报案。
- 如果行为对您的名誉造成了损害，但未构成犯罪或您希望通过民事诉讼途径解决，请向人民法院提起诉讼。
- 如果行为发生在网络上或涉及特定行业、公职人员，请考虑向相关网络监管部门、行业主管部门或纪检监察机关举报。
希望以上分析能对您有所帮助。如果您有任何法律问题或需要进一步的法律建议，请随时向我咨询。