关于非法建筑由哪个部门处理的问题，我可以给出以下详细的解答：
结论前置：非法建筑的处理涉及多个部门，主要包括县级以上地方人民政府城乡规划主管部门、城市管理综合行政执法部门、乡镇人民政府以及土地行政主管部门。各部门根据各自法定职责和权限进行查处。
详细分析：
城乡规划主管部门：
- 主要负责城市、镇规划区内违反城乡规划的违法建筑查处工作。
- 对于未取得建设工程规划许可证或未按照许可证规定进行建设的行为，有权责令停止建设、限期改正，并可根据情况处以罚款或拆除违法建筑。
城市管理综合行政执法部门：
- 在很多城市，该部门集中行使对违法建筑的查处权。
- 负责巡查、制止和处罚城市建成区内的各类违法建设行为，包括未取得相关许可证进行建设的违法建筑。
乡镇人民政府：
- 负责乡、村庄规划区内违法建筑的查处工作，特别是涉及农村村民住宅的违法建设。
- 对于未依法取得乡村建设规划许可证或未按照许可证规定进行建设的行为，有权责令停止建设、限期改正，并在逾期不改正的情况下进行拆除。
土地行政主管部门：
- 重点查处违法占用土地进行建设的行为。
- 对于未经批准非法占用土地、擅自改变土地用途进行建设等违法行为，有权责令退还非法占用的土地，限期拆除或没收在非法土地上新建的建筑物和其他设施，并可并处罚款。
处理流程：
- 调查认定：相关行政部门会对建筑是否违法进行调查，收集证据确定其是否未取得建设工程规划许可证等法定证件。
- 责令改正或拆除：若认定为非法建筑，会责令停止建设。若能改正消除对规划实施影响，限期改正并处罚款；无法改正消除影响的，限期拆除；不能拆除的，没收实物或违法收入并处罚款。
- 强制执行：若当事人不履行限期拆除决定，行政机关会催告，经催告仍不拆除，可作出强制执行决定，依法强制拆除，费用由当事人承担。
- 复议或诉讼：当事人对处理决定不服，可申请行政复议或提起行政诉讼维护权益。
综上所述，非法建筑的处理是一个涉及多个部门、多个环节的复杂过程。各部门根据各自职责和权限进行查处，确保城乡规划和土地管理的良好秩序。如果您有具体的法律问题或需要进一步的帮助，请直接向我咨询。