认定违法建筑主要由多个部门根据各自职责和权限进行，具体如下：

1. 城乡规划主管部门

   • 主要职责：负责城市规划区内违法建筑的认定。对于未取得建设工程规划许可证或未按许可证规定进行建设的建筑物，城乡规划主管部门有权进行认定，并作出相应的处理决定，如责令停止建设、限期改正、罚款、限期拆除等。
   • 法律依据：《中华人民共和国城乡规划法》第六十四条明确规定了城乡规划主管部门对违法建筑的认定和处理权限。

2. 乡镇人民政府

   • 主要职责：在乡、村庄规划区内，乡镇人民政府负责认定违法建筑。对于未依法取得乡村建设规划许可证或未按许可证规定进行建设的建筑物，乡镇人民政府可以责令停止建设、限期改正，逾期不改正的，可以拆除。
   • 法律依据：《中华人民共和国城乡规划法》第六十五条赋予了乡镇人民政府在乡、村庄规划区内对违法建筑的认定和处理权。

3. 自然资源部门

   • 主要职责：自然资源部门负责查处非法占用土地的行为，特别是将农用地擅自改为建设用地的违法行为。对于涉及非法占用土地的违建行为，自然资源部门将依法进行认定和处理。
   • 法律依据：《中华人民共和国土地管理法》第七十七条规定了自然资源部门对非法占用土地行为的查处权限。

4. 住房和城乡建设部门

   • 主要职责：住房和城乡建设部门参与认定违反施工许可管理规定的建设项目。例如，未办理施工许可证擅自开工的工程，住房和城乡建设部门将参与认定和处理。
   • 特殊情形：虽然住房和城乡建设部门不直接认定所有类型的违法建筑，但在涉及施工许可管理的建设项目中，其认定和处理作用不可忽视。

5. 城市管理执法部门（城管）

   • 主要职责：在许多地方，城管部门通过相对集中行政处罚权的方式，被赋予认定并查处城市规划区内违章建筑的职责。城管部门负责城市管理和行政执法工作，对城市建成区内的各类违法建设行为进行监管和认定。
   • 实践应用：城管部门在违法建筑认定中发挥着重要作用，特别是在城市管理和行政执法方面，其灵活性和高效性有助于及时制止和查处违法建筑行为。

综合说明与建议：

• 部门协作：在实际操作中，违法建筑的认定往往需要多个部门协作完成。例如，自然资源部门确认土地性质，城管部门评估建筑安全性等。这种协作机制有助于确保违法建筑认定的准确性和公正性。
• 公众参与：公众可以通过举报、投诉等方式参与违法建筑的认定工作。这有助于及时发现和制止违法建筑行为，维护城市规划和建设的秩序。
• 法律后果：对于被认定为违法建筑的情况，当事人应积极配合相关部门的处理决定，依法履行相应义务。否则，可能面临罚款、限期拆除等法律后果。

如果您对违法建筑的认定或处理有进一步的问题或疑虑，可以直接向我咨询。我会根据您的具体情况，提供更详细、更专业的法律建议。