违章建筑的管理涉及多个部门，具体由哪个部门管理取决于违章建筑的地点、性质及影响。以下是主要的管理部门及其职责：

1. 城乡规划主管部门：

   • 依据《中华人民共和国城乡规划法》第六十四条，对在城市规划区内未取得建设工程规划许可证或未按许可证规定进行建设的行为，责令停止建设；可采取改正措施的，限期改正并处罚款；无法改正的，限期拆除或没收实物/违法收入，并可处罚款。

2. 城市管理综合行政执法部门（城管部门）：

   • 在很多城市，政府通过行政委托或授权，将部分行政处罚权交由该部门行使。城管部门有权对城市规划区内的违章建筑进行查处和整治。

3. 乡（镇）人民政府：

   • 依据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内，对未依法取得乡村建设规划许可证或未按许可证规定进行建设的行为，责令停止建设、限期改正；逾期不改正的，可以拆除。

4. 国土资源部门（即县级以上人民政府土地行政主管部门）：

   • 依据《中华人民共和国土地管理法》，对非法占用土地建设的违章建筑进行管理，责令退还非法占用的土地，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。

5. 水利部门：

   • 依据《中华人民共和国防洪法》及《河道管理条例》等，对在河道管理范围内建设的违章建筑，影响行洪安全的，责令停止违法行为，限期拆除违法建筑物，恢复原状；逾期不拆除的，强行拆除。

在实际操作中，面对违章建筑问题，建议首先咨询当地相关部门，了解具体的管理规定和处理流程。若有进一步的法律问题或需要专业法律意见，可以直接向我咨询，我将根据你的具体情况提供针对性的法律建议。