违法建筑的违法主体认定主要涉及多个法定主体，这些主体根据其职责范围和相关法律法规对违法建筑进行认定和处理。以下是详细分析：

1. 城乡规划主管部门

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门负责查处。
   • 职责范围：城乡规划主管部门主要负责城市、镇规划区内的违法建筑认定工作。它们会对未取得规划许可或未按规划许可要求进行的建设活动进行审查，并作出相应处罚，如责令停止建设、限期改正、罚款、限期拆除等。

2. 乡、镇人民政府

   • 法律依据：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府负责查处。
   • 职责范围：乡、镇人民政府主要负责乡、村庄规划区内的违法建筑认定和处理。它们会对乡村建设活动进行监督管理，对未经批准或违反乡村规划建设的建筑物进行调查核实，并依法作出认定和处理决定。

3. 城市管理综合行政执法部门（城管部门）

   • 适用范围：在一些地方，城管部门通过立法授权集中行使行政处罚权，包括对违法建筑的认定和查处。
   • 具体职责：城管部门负责城市规划区内违法建筑的巡查、认定和处理工作。它们会定期巡查街道、小区，对疑似违法建筑进行立案调查和认定，并依法作出处罚决定。

4. 土地管理部门

   • 主要职责：土地管理部门从土地使用角度对违法建筑进行认定和处理。例如，根据《中华人民共和国土地管理法》第七十七条，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门负责查处。
   • 特殊情形：对于涉及土地违法的建筑，如非法占用农用地进行建设，土地管理部门会进行调查核实，并依法作出认定和处理决定。

5. 其他相关部门

   • 特殊情形：在某些情况下，如涉及环境保护违法等，环境保护部门等其他行政机关也可能根据各自职责对违法建筑进行认定和查处。

在认定违法建筑时，各主体会遵循一定的程序和标准：

• 调查取证：通过现场勘查、询问笔录、卫星影像等方式收集证据。
• 审核认定：核对是否具备用地批准文件、工程规划许可证等，必要时委托专业机构进行技术鉴定。
• 作出决定：出具《违法建筑认定书》，载明违法事实、依据及处理建议，并依法送达当事人。

如果您面临违法建筑认定的问题，或者对认定结果有异议，可以直接向我咨询。我会根据您的具体情况，提供详细的法律分析和建议，帮助您维护合法权益。