拆除违建的行政机关主要依据相关法律法规及具体情形而定，主要包括县级以上地方人民政府城乡规划主管部门、乡镇人民政府以及其他依法具有相关职责的部门。以下是详细分析：

1. 城乡规划主管部门

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
   • 适用范围：主要针对违反城乡规划的建设行为，如未经审批擅自搭建建筑物、构筑物等。例如，在城市居民区内未经许可搭建的阳光房、车库等，通常由城乡规划主管部门负责查处和拆除。

2. 乡镇人民政府（针对乡村区域）

   • 法律依据：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
   • 适用范围：适用于农村集体土地上的违法建设，如村民违规建房、占用耕地搭建临时设施等。例如，在农村地区未经批准擅自建设的住宅或农业设施，通常由乡镇人民政府负责查处和拆除。

3. 其他可能涉及的部门

   • 自然资源部门：负责查处非法占用土地进行建设的行为，例如未经批准占用农用地、林地搭建建筑。如果违建同时涉及非法占用土地，自然资源部门也可能参与查处和拆除工作。
   • 城市管理部门/综合行政执法局：在部分地区，城市管理部门被授权集中行使包括违建拆除在内的行政处罚权。因此，在这些地区，城市管理部门或综合行政执法局也可能负责违建的拆除工作。具体是否具备执法资格，需根据当地政策判断。
   • 其他部门：如水利、交通等部门对河道管理范围内、公路建筑控制区内的违建具有管辖权。如果违建位于这些特定区域内，相关主管部门也可能参与查处和拆除工作。

4. 特殊情况说明

   • 跨领域违建：若违建涉及多个领域（如既违反城乡规划又侵占国有土地），可能需多部门联合执法。在这种情况下，各个相关部门会协同工作，共同负责违建的查处和拆除。
   • 历史遗留问题：部分早期违建因政策调整或资料缺失，处理时需结合实际情况制定专项方案。对于这类违建，相关部门会进行详细调查和分析，根据具体情况制定合适的处理方案。

法律建议：

• 如果您发现违建行为，可以向当地城乡规划主管部门、乡镇人民政府或其他相关部门举报。
• 如果您自己面临违建拆除的问题，建议先了解相关法律法规和政策，明确自己的权益和义务。
• 在处理违建问题时，建议积极配合相关部门的调查和执法工作，避免不必要的法律纠纷。

如果您有进一步的法律问题或需要更详细的法律建议，请直接向我咨询，我会根据您的具体情况提供专业的法律帮助。