违规建筑的管理涉及多个部门，具体由哪个部门管理需根据违规建筑的具体情况和所在地的法律法规来确定。以下是对各部门管理职责的详细阐述：
城乡规划部门：
- 管理范围：主要负责城市、镇规划区内建筑物、构筑物等工程建设的规划许可和管理工作。对于未取得建设工程规划许可证或未按许可证规定进行建设的行为，城乡规划部门有权责令停止建设，并根据情况采取限期改正、罚款、限期拆除或没收实物及违法收入等措施。
- 法律依据：《中华人民共和国城乡规划法》第六十四条。
城市管理综合行政执法部门：
- 管理范围：在部分城市或特定情形下，通过行政权力下放或综合执法改革，城市管理综合行政执法部门可能承担城乡规划领域的部分行政处罚权，特别是对违反市容市貌、影响城市环境的违规搭建行为进行查处。
- 法律依据：依据各地关于城市管理综合行政执法的相关规定，以及《中华人民共和国行政处罚法》关于行政权力下放或综合执法的授权。
乡镇人民政府：
- 管理范围：负责乡、村庄规划区内违规建筑的管理。对于未依法取得乡村建设规划许可证或未按许可证规定进行建设的行为，乡镇人民政府有权责令停止建设、限期改正；逾期不改正的，可以拆除。
- 法律依据：《中华人民共和国城乡规划法》第六十五条。
土地管理部门：
- 管理范围：主要负责查处涉及土地使用方面的违规建筑，如未经批准在农用地上建设非农业设施、非法占用耕地建房等行为。土地管理部门有权责令退还非法占用的土地，并限期拆除在非法占用的土地上新建的建筑物和其他设施。
- 法律依据：《中华人民共和国土地管理法》第七十七条。
综上所述，违规建筑的管理是一个涉及多个部门、依据多部法律法规的复杂过程。若您发现违建行为或需了解相关处理问题，建议首先根据违规建筑的具体情况和所在地的法律法规，向相应的管理部门咨询，以获取最准确、最权威的指导和帮助。