在我国，认定违建的单位主要根据地域和具体情况有所不同，主要包括城乡规划主管部门、乡（镇）人民政府以及其他相关部门（如自然资源部门、住房和城乡建设部门、城市管理部门等）。以下是对这些认定单位的详细说明：

1. 城乡规划主管部门

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
   • 职责范围：城乡规划主管部门主要负责城市规划区内违法建筑的认定工作，包括未取得建设工程规划许可证或未按许可证规定建设的行为，如市区内私自搭建的大型商业广告牌、违规加建的楼层等。

2. 乡、镇人民政府

   • 法律依据：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
   • 职责范围：乡、镇人民政府主要负责乡、村庄规划区内违法建筑的认定和处理工作，如农村集体土地上未经批准私自建设的住宅、养殖场等。

3. 其他相关部门

   • 自然资源部门（原国土资源部门）：针对未经批准非法占用土地进行建设的行为，自然资源部门依据《中华人民共和国土地管理法》等相关法律法规进行查处。若建设项目占用的土地不符合土地利用总体规划或未办理合法用地审批手续，自然资源部门将判定其为违建，如农用地上违规建设工业厂房。
   • 住房和城乡建设部门：可能参与对违反施工许可、工程质量安全等规定的违法建筑的查处，如未办理施工许可证擅自开工的工程。
   • 城市管理部门（综合行政执法部门）：在一些地区，城市管理部门被授权行使部分城乡规划、住房城乡建设等领域的行政处罚权，包括对违法建筑的查处，如市区内私自搭建的临时建筑、违规设置的户外广告等。

在实际操作中，违建的认定往往需要多个部门协同合作。例如，对于一处涉嫌违建的建筑物，城乡规划主管部门可能首先进行规划方面的审查，自然资源部门则可能对土地使用情况进行核查，而城市管理部门或乡、镇人民政府则可能根据具体情况进行现场查处。此外，对于复杂或争议较大的违建案件，还可能涉及司法程序的介入，如行政复议或行政诉讼等。

如果您对违建问题存在疑问或需要进一步的法律建议，比如您遇到了违建认定或处理方面的纠纷，或者想要了解如何避免自己的建筑被认定为违建，都可以直接向我咨询，我会根据您的具体情况提供详细的法律分析和建议。