违法建筑的认定主要由城乡规划主管部门、乡镇人民政府以及其他相关部门（如自然资源部门、住建部门等）根据各自职责和权限进行。以下是对这一问题的详细分析：
城乡规划主管部门：
- 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或未按许可证规定建设的建筑，由县级以上地方人民政府城乡规划主管部门负责认定。
- 职责范围：主要负责城市规划区内违法建筑的认定，包括未批先建、超面积建设等行为。例如，若某开发商在城市规划区内未经规划许可擅自超建楼层，城乡规划主管部门即有权对此进行违法建筑认定。
乡镇人民政府：
- 法律依据：依据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可证规定建设的，由乡镇人民政府负责认定。
- 职责范围：针对农村集体土地上未经审批擅自搭建的建筑物、构筑物进行认定。比如，若某村庄村民未经许可在村集体土地上新建房屋，乡镇人民政府则有权对该房屋进行违法建筑认定。
其他相关部门：
- 自然资源部门：对涉及非法占用土地（如耕地、林地）的违建行为进行查处，依据《土地管理法》第七十七条追究法律责任。例如，若某企业未经批准占用农用地建设厂房，自然资源部门即可认定该厂房为违法建筑。
- 住房和城乡建设部门：参与认定违反施工许可管理规定的建设项目，例如未办理施工许可证擅自开工的工程。
认定流程与协作机制：
- 线索发现：通过群众举报、日常巡查、卫片执法等途径获取疑似违建信息。
- 调查取证：现场勘查核实建筑位置、面积、用途等基础数据，调取用地审批文件、规划许可证明等材料。
- 联合认定：复杂案件需多部门协同研判，例如自然资源部门确认土地性质，城管部门评估建筑安全性。
- 公示告知：将认定结果向社会公开，保障当事人陈述申辩权利。
特殊情形下的认定主体差异：
- 历史遗留问题：部分早期建设的无证房屋可能因政策调整被纳入合法化范畴，需结合当地专项整治方案确定处理方式。
- 跨区域违建：跨行政区域的违法建筑由共同上级政府指定管辖机关，避免推诿扯皮。
综合建议：
- 在不同地区，具体负责违法建筑认定的部门可能有所差异，建议结合当地实际情况咨询相关部门以获取准确信息。
- 建设者在进行任何建设活动前，应充分了解并遵守相关法律法规，确保取得必要的许可和批准，以避免被认定为违法建筑而面临法律后果。
如果您在违法建筑认定方面遇到任何问题或需要进一步的法律帮助，请随时向我咨询。