违法建筑及构筑物的认定主体主要包括以下几类：

1. 城乡规划主管部门

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门负责查处。
   • 职责范围：城乡规划主管部门主要负责城市规划区内违法建筑的认定工作，包括未取得建设工程规划许可证或未按许可证规定建设的行为。他们有权责令停止建设，并根据违法行为的性质和后果，决定采取限期改正、罚款、限期拆除或没收实物等处罚措施。

2. 乡、镇人民政府

   • 法律依据：依据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府负责查处。
   • 职责范围：乡、镇人民政府主要负责乡、村庄规划区内违法建筑的认定和处理工作。他们有权责令停止建设，并要求限期改正；逾期不改正的，可以拆除违法建筑。

3. 自然资源部门（原国土资源部门）

   • 法律依据：涉及非法占用土地进行建设的行为，由自然资源部门依据《中华人民共和国土地管理法》等相关法律法规进行查处。
   • 职责范围：自然资源部门主要负责查处非法占用土地进行建设的行为，包括未经批准或采取欺骗手段骗取批准非法占用土地，以及违反土地利用总体规划擅自将农用地改为建设用地等。他们有权责令退还非法占用的土地，并限期拆除或没收在非法占用的土地上新建的建筑物和其他设施。

4. 其他相关部门及特殊情形下的认定主体

   • 其他相关部门：在某些情况下，如涉及环境保护违法等，环境保护部门等其他行政机关也可能根据各自职责对违法建筑进行认定和查处。
   • 授权或委托的组织：根据《行政处罚法》等相关法律法规的规定，行政机关可以在其法定权限内书面委托符合一定条件的组织实施行政处罚。因此，在某些地区，城乡规划主管部门或乡、镇人民政府可能会委托特定的组织（如城市管理综合执法局）来行使违法建筑的认定和查处权。
   • 多部门联合认定：对于一些复杂或跨部门的违法建筑案件，可能需要多个部门联合进行调查和认定。例如，涉及历史遗留问题、产权纠纷或重大安全隐患的违法建筑，可能需要城乡规划、国土资源、住房城乡建设、公安消防等多个部门共同参与处理。

在实际操作中，认定违法建筑及构筑物需要严格遵循法定程序，确保行政行为的合法性和公正性。如果您对违法建筑及构筑物的认定主体或相关法律程序有进一步的问题，可以直接向我咨询，我会根据您的具体情况提供详细的法律解答。