违法建筑的认定机关主要包括城乡规划主管部门、乡镇人民政府以及其他相关部门，具体如下：

1. 城乡规划主管部门

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
   • 职责范围：城乡规划主管部门主要负责城市、镇规划区内的建筑物规划监管，对未取得建设工程规划许可证或未按规划许可证规定建设的建筑物进行认定和处理。例如，开发商未取得规划许可擅自建设商业楼盘，就由该部门负责认定查处。

2. 乡镇人民政府

   • 法律依据：依据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
   • 职责范围：乡镇人民政府在乡、村庄规划区内，负责未依法取得乡村建设规划许可证或未按规划许可证规定建设的建筑物的认定和处理。比如，农村村民未经许可在自家宅基地外随意扩建房屋，就由乡镇人民政府进行认定。

3. 其他相关部门

   • 自然资源部门：对涉及非法占用土地（如耕地、林地）的违建行为进行查处，依据《土地管理法》第七十七条追究法律责任。例如，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。
   • 住房和城乡建设部门：参与认定违反施工许可管理规定的建设项目，例如未办理施工许可证擅自开工的工程。
   • 城市管理综合行政执法部门：在一些地区，城市管理综合行政执法部门（城管部门或城市管理综合行政执法局）通过相对集中行政处罚权，承担部分违法建设查处职责，主要处理违反城市管理相关法规的违章建筑，如私自搭建的简易棚屋等，以及影响市容市貌、占用公共空间的违章建筑。

在认定违法建筑的过程中，这些机关会遵循严格的程序和法律规定：

• 包括线索发现（通过群众举报、日常巡查、卫片执法等途径获取疑似违建信息）、调查取证（现场勘查核实建筑位置、面积、用途等基础数据，调取用地审批文件、规划许可证明等材料）、联合认定（复杂案件需多部门协同研判，例如自然资源部门确认土地性质，城管部门评估建筑安全性）以及公示告知（将认定结果向社会公开，保障当事人陈述申辩权利）等环节，以确保认定的公正性和合法性，保障当事人的合法权益。

如果建筑物被认定为违法建筑，当事人也有相应的权利救济途径：

• 当事人有权在法定期限内提出陈述、申辩，或者申请行政复议、提起行政诉讼等，以维护自己的合法权益。

特殊情形下的认定主体差异：

• 历史遗留问题：部分早期建设的无证房屋可能因政策调整被纳入合法化范畴，需结合当地专项整治方案确定处理方式。
• 跨区域违建：跨行政区域的违法建筑由共同上级政府指定管辖机关，避免推诿扯皮。

温馨提示：在实际操作中，违法建筑的认定和处理可能因地区、政策等因素而有所不同。如果您对违法建筑的认定有疑问，或者您的建筑物被认定为违法建筑，欢迎直接向我咨询，我会根据您的具体情况提供专业的法律意见。