对违法建筑的认定，主要由城乡规划主管部门、乡（镇）人民政府以及其他相关部门负责。以下是对这一问题的详细解答：

一、主要认定主体及职责

1. 城乡规划主管部门

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
   • 职责范围：城乡规划主管部门负责对违反城乡规划的建设行为进行查处，包括未取得规划许可或未按规划许可要求进行的建设活动。

2. 乡、镇人民政府

   • 法律依据：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
   • 职责范围：对于在乡、村庄规划区内的违法建设行为，乡、镇人民政府有权进行查处。

3. 其他相关部门

   • 在某些情况下，如涉及土地违法、环境保护违法等，国土资源部门、环境保护部门等其他行政机关也可能根据各自职责对违法建筑进行认定和查处。例如，根据《中华人民共和国土地管理法》第七十七条，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。

二、特殊情形下的认定主体

1. 授权或委托的组织

   • 根据《行政处罚法》等相关法律法规的规定，行政机关可以在其法定权限内书面委托符合一定条件的组织实施行政处罚。因此，在某些地区，城乡规划主管部门或乡、镇人民政府可能会委托特定的组织（如城市管理综合执法局）来行使违法建筑的认定和查处权。

2. 多部门联合认定

   • 对于一些复杂或跨部门的违法建筑案件，可能需要多个部门联合进行调查和认定。例如，涉及历史遗留问题、产权纠纷或重大安全隐患的违法建筑，可能需要城乡规划、国土资源、住房城乡建设、公安消防等多个部门共同参与处理。

三、违法建筑认定的注意事项

• 认定程序：违法建筑的认定应当遵循法定程序，包括调查询问、现场勘验、责令停止违法行为、行政处罚权力告知、作出行政处罚决定等步骤。
• 证据收集：在认定过程中，相关部门应当充分收集证据，包括现场照片、视频、规划许可文件、土地使用证明等，以确保认定的准确性和合法性。
• 权利保障：在认定和查处违法建筑时，相关部门应当保障当事人的合法权益，包括听取当事人的陈述和申辩、告知当事人享有的权利等。

总结来看，对违法建筑的认定是一个复杂而严谨的过程，涉及多个国家机关和严格的法律程序。各认定主体应依据相关法律法规，准确判断建筑的合法性，并确保认定程序的合法性和公正性。如果您对违法建筑的认定或处理有进一步的疑问或需要法律帮助，请直接向我咨询。