违法建筑的管理涉及多个部门，不同情形下负责管理的部门有所不同，具体如下：

1. 城乡规划主管部门

   • 职责范围：主要负责城市、镇规划区内违章建筑的认定和查处工作。根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
   • 法律依据：《中华人民共和国城乡规划法》第六十四条至第六十八条对违章建筑的处理作出了明确规定。

2. 乡、镇人民政府

   • 职责范围：在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。例如，村民未经许可擅自扩大宅基地面积建房，就属于乡、镇人民政府的管理范畴。
   • 法律依据：《中华人民共和国城乡规划法》第六十五条。

3. 自然资源部门（原国土资源部门）

   • 职责范围：对于非法占用土地进行建设的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，并可能处以罚款或没收建筑物。比如，未经批准擅自占用农用地进行建设，就由自然资源部门负责查处。
   • 法律依据：《中华人民共和国土地管理法》第七十七条，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款；对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予处分；构成犯罪的，依法追究刑事责任。

4. 住房和城乡建设部门

   • 职责范围：对于违反施工许可、工程质量安全等规定的建设行为，由住房和城乡建设部门进行监管和处罚。虽然它不直接管理违法建筑的整体认定与拆除，但在建设过程中的违规行为，如未取得施工许可证就开工建设等，会由该部门进行查处。

5. 城市管理部门

   • 职责范围：在城市管理范围内，城管部门也参与对违章建筑的巡查、制止和报告工作。在一些地方，城管部门被赋予了对违法建设的部分或全部查处权，特别是在城市街道、广场等公共场所的违法搭建行为。
   • 法律依据：《城市管理执法办法》第八条，明确了城管部门的行政处罚权范围，包括与城市管理相关的违法建设查处。

处理流程：

1. 发现与举报：城乡规划主管部门、乡镇人民政府、城管部门等通过日常巡查、群众举报等方式发现违章建筑。
2. 调查取证：相关部门对涉嫌违章的建筑进行调查取证，核实其是否取得规划许可证、是否符合规划要求等。
3. 作出处理决定：根据调查结果，相关部门作出处理决定，如责令停止建设、限期改正、罚款、拆除等。
4. 执行与监督：当事人应在规定期限内履行处理决定。如逾期不履行，相关部门可采取强制措施，如强制拆除等，并监督执行情况。

建议：

在面对违法建筑问题时，建议首先明确违法建筑的地点和性质，然后咨询当地相关部门以获取具体的认定和处理流程。同时，也提醒广大建设单位和个人在从事建设活动前，务必依法依规办理相关手续，避免产生违法建设行为。如果你有具体的违法建筑问题，可以直接向我咨询，我会根据你的具体情况给出更详细的法律建议。