拆除违章建筑主要由以下部门依据各自职权范围进行：

1. 城乡规划主管部门：根据《中华人民共和国城乡规划法》第六十四条，该部门负责城市规划区内违章建筑的认定和查处工作。对未取得或违反建设工程规划许可证的建设行为，有权责令停止建设、限期改正、罚款或拆除。

2. 城市管理综合行政执法部门：依据相关地方立法及国务院关于相对集中行政处罚权的规定，该部门集中行使城市管理领域的行政处罚权，包括对违反城市容貌标准、环境卫生标准的违章建筑进行查处和拆除，如街道两侧的棚亭、广告牌等。

3. 乡（镇）人民政府：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内，对未依法取得乡村建设规划许可证或违反其规定建设的建筑，乡（镇）人民政府有权责令停止建设、限期改正或拆除，特别针对农村地区的违法建筑。

4. 土地行政主管部门：依据《中华人民共和国土地管理法》第七十七条，该部门主要查处违法占用土地建设的违章建筑，如未经批准在耕地上建设的厂房、住宅等，有权责令退还土地、限期拆除并恢复土地原状。

这些部门在拆除违章建筑时，必须遵守法定程序，确保执行过程合法合规，不侵害公民合法权益。如果您面临违章建筑拆除的相关问题，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。