违建主要由以下部门负责：

1. 城乡规划主管部门：主要负责城市规划区内违反规划的违章建筑，依据《中华人民共和国城乡规划法》的相关规定，对未取得建设工程规划许可证或未按许可证规定进行建设的行为，有权责令停止建设，并视情况采取改正措施、罚款、限期拆除或没收实物等处罚。

2. 乡镇人民政府：在乡、村庄规划区内，对未依法取得乡村建设规划许可证或未按许可证规定进行建设的违章建筑，依据《中华人民共和国城乡规划法》的相关规定，有权责令停止建设、限期改正，逾期不改正的可拆除。

3. 城市管理综合行政执法部门：在一些实行行政权力相对集中的城市，原本由规划部门行使的行政处罚权可能交由城市管理综合行政执法部门行使，负责日常巡查、监管和执法工作，依据的是《中华人民共和国行政处罚法》中关于行政处罚权的相对集中行使制度。

4. 自然资源主管部门：主要负责查处涉及非法占用土地建设的违章建筑，如未经批准或骗取批准非法占用土地进行建设的行为，依据《中华人民共和国土地管理法》的相关规定，有权责令退还非法占用的土地，并视情况采取限期拆除、恢复土地原状、没收建筑物及罚款等措施。

5. 住房和城乡建设部门：涉及建筑工程施工许可、工程质量安全等方面的违建行为，住房和城乡建设部门会对未取得施工许可证擅自施工的行为进行监管，责令停止施工，限期改正，并可处以罚款。

面对违建问题，建议首先明确违建的具体性质、所属区域及适用的法律法规，然后咨询当地的市政管理部门或法律专业人士，了解相关部门的具体职责和执法程序，以便更有效地解决问题。在处理过程中，应遵守相关法律法规，积极配合政府部门的执法工作，确保问题的合法合规解决。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询，我专注于劳动纠纷、合同纠纷以及房产纠纷等领域，可以为您提供专业的法律咨询。