违法建筑的认定主要由城乡规划主管部门、乡镇人民政府以及其他相关部门（如自然资源部门、住建部门等）根据各自职责和权限进行。以下是对各部门认定职责的详细说明：

1. 城乡规划主管部门

   • 认定范围：主要负责城市规划区内违法建筑的认定。这包括未取得建设工程规划许可证或未按许可证规定建设的建筑，如擅自增加建筑物层数、改变用途或超面积建设等行为。
   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设，并视情况作出限期改正、罚款、限期拆除或没收实物等处理决定。

2. 乡镇人民政府

   • 认定范围：针对农村集体土地上未经审批擅自搭建的建筑物、构筑物进行认定。这主要发生在乡、村庄规划区内，如村民未经许可擅自扩大宅基地面积建房等行为。
   • 法律依据：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。

3. 自然资源部门

   • 认定范围：对涉及非法占用土地（如耕地、林地）的违建行为进行查处。这包括未经批准擅自占用农用地进行建设，或超过批准数量占用土地等行为。
   • 法律依据：根据《中华人民共和国土地管理法》第七十七条，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，并视情况作出限期拆除、恢复土地原状、没收建筑物和设施或并处罚款等处理决定。

4. 住房和城乡建设部门

   • 认定范围：参与认定违反施工许可管理规定的建设项目。例如，未办理施工许可证擅自开工的工程，或未按施工许可要求进行建设的行为。
   • 法律依据：虽然直接的法律条款可能并未明确提及住建部门在违法建筑认定中的具体职责，但住建部门作为建设活动的主管部门，在发现违法建设行为时，通常会与城乡规划主管部门、自然资源部门等协同工作，共同进行认定和处理。

认定流程与协作机制：

• 线索发现：通过群众举报、日常巡查、卫片执法等途径获取疑似违建信息。
• 调查取证：现场勘查核实建筑位置、面积、用途等基础数据，调取用地审批文件、规划许可证明等材料。
• 联合认定：复杂案件需多部门协同研判，例如自然资源部门确认土地性质，城管部门评估建筑安全性等。
• 公示告知：将认定结果向社会公开，保障当事人陈述申辩权利。

特殊情形下的认定主体差异：

• 历史遗留问题：部分早期建设的无证房屋可能因政策调整被纳入合法化范畴，需结合当地专项整治方案确定处理方式。
• 跨区域违建：跨行政区域的违法建筑由共同上级政府指定管辖机关，避免推诿扯皮。

在面对违法建筑认定问题时，建议首先明确违法建筑的地点和性质，然后咨询当地相关部门以获取具体的认定和处理流程。如果你有任何具体的法律问题或需要进一步的法律帮助，请随时向我咨询。