拆除违章建筑主要由以下部门负责，具体取决于违章建筑所处的区域、性质及违规情况：
城乡规划主管部门：主要负责城市、镇规划区内违反规划的违章建筑的拆除工作。根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或未按许可证规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设，并视情况采取改正措施、罚款、限期拆除或没收实物等处罚。
乡镇人民政府：针对乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可证规定进行建设的违章建筑，乡镇人民政府有权责令停止建设、限期改正，逾期不改正的可拆除，依据为《中华人民共和国城乡规划法》第六十五条。
城市管理综合行政执法部门：在部分实行行政权力相对集中的城市，原本由规划部门行使的行政处罚权可能交由城市管理综合行政执法部门行使，具体依据《中华人民共和国行政处罚法》的相关规定。
自然资源主管部门：主要负责查处涉及非法占用土地建设的违章建筑，如未经批准或骗取批准非法占用土地进行建设的行为。根据《中华人民共和国土地管理法》第七十七条，自然资源主管部门有权责令退还非法占用的土地，并视情况采取限期拆除、恢复土地原状、没收建筑物及罚款等措施。
综上所述，拆除违章建筑的具体负责部门需结合违章建筑的具体情况来确定。如果您面临此类问题，建议首先咨询当地的市政管理部门或法律专业人士，以明确违章建筑的具体性质、所属区域及适用的法律法规，并了解相关部门的具体职责和执法程序，以便更有效地解决问题。