诽谤行为若违反治安管理，主要由公安机关负责处理。具体来说，根据诽谤行为的情节轻重，处理方式和责任主体会有所不同，以下从不同角度为您详细分析：
一、轻微诽谤行为：民事途径解决
若诽谤行为情节轻微，未达到治安管理处罚或刑事犯罪的标准，那么这通常属于民事侵权范畴。在此情况下，被侵权人可以自行向人民法院提起民事诉讼，要求侵权人承担停止侵害、恢复名誉、消除影响、赔礼道歉以及赔偿损失等民事责任。这一过程的法律依据是《民法典》中关于承担民事责任方式的规定。
二、达到治安管理处罚标准的诽谤行为：公安机关处理
当诽谤行为达到《中华人民共和国治安管理处罚法》规定的程度时，公安机关将依法介入处理。根据该法第四十二条第二项的规定，公然侮辱他人或者捏造事实诽谤他人的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。这意味着，一旦诽谤行为被认定为违反治安管理，公安机关将根据情节轻重给予相应的行政处罚。
三、构成诽谤罪的情况：刑事自诉为主，特定情况下公安机关立案侦查
如果诽谤行为严重到构成犯罪，即符合《中华人民共和国刑法》第二百四十六条规定的诽谤罪构成要件，那么处理方式将更为严厉。通常情况下，诽谤罪属于刑事自诉案件，被害人需要直接向人民法院提起刑事自诉，要求追究侵权人的刑事责任。然而，也存在例外情况。如果诽谤行为严重危害社会秩序和国家利益，如引发群体性事件、造成恶劣国际影响等，那么该案件将变为公诉案件，由公安机关立案侦查，人民检察院提起公诉。
法律建议
固定证据：无论诽谤行为属于哪种类型，固定证据都是至关重要的。您应收集能证明诽谤行为的证据，如聊天记录、视频、声音、网页截图等，并确保证据的真实性和完整性。
与侵权人沟通：在采取法律行动之前，您可以先尝试与侵权人进行沟通，要求其停止诽谤行为、赔礼道歉并消除影响。沟通时请注意保留记录，以备后续需要。
及时报警或提起诉讼：如果诽谤行为违反了治安管理处罚法或构成了犯罪，您应及时向公安机关报案或向人民法院提起诉讼，以维护自己的合法权益。
作为专业律师，我建议您在遇到诽谤问题时，根据具体情况选择合适的法律途径进行维权。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。