认定违法建筑的部门主要包括城乡规划主管部门、自然资源主管部门、城市管理综合执法部门（城管部门）以及乡、镇人民政府。以下是各部门的具体职责和认定范围：

1. 城乡规划主管部门

   • 职责范围：主要负责城市、镇规划区内违法建筑的认定。对于未取得建设工程规划许可证或未按许可证规定进行建设的建筑物，城乡规划主管部门有权进行认定，并作出责令停止建设、限期改正、罚款、限期拆除或没收实物等处理决定。
   • 法律依据：《中华人民共和国城乡规划法》第六十四条明确规定了城乡规划主管部门对违法建设的查处职责。

2. 自然资源主管部门

   • 职责范围：主要负责处理涉及土地利用规划方面的违法建设，如未经批准擅自占用农用地进行建设。自然资源主管部门将依法对非法占地建设行为进行查处，包括责令退还非法占用的土地、限期拆除或没收在非法占用的土地上新建的建筑物和其他设施等。
   • 法律依据：《中华人民共和国土地管理法》第七十七条及《中华人民共和国土地管理法实施条例》第四十二条为自然资源主管部门的认定和处理提供了法律支撑。

3. 城市管理综合执法部门（城管部门）

   • 职责范围：在一些地方，城管部门被赋予了对违法建设的部分或全部查处权，特别是在城市街道、广场等公共场所的违法搭建行为。城管部门将依据相关法律法规，对违法建设进行查处，包括责令停止建设、限期改正、罚款或拆除等。
   • 法律依据：《城市管理执法办法》第八条明确了城管部门的行政处罚权范围，包括与城市管理相关的违法建设查处。

4. 乡、镇人民政府

   • 职责范围：主要负责乡、村庄规划区内违法建筑的认定与查处。对于村民未经许可擅自扩大宅基地面积建房等行为，乡、镇人民政府将依法进行认定，并作出责令停止建设、限期改正或拆除等处理决定。
   • 法律依据：《中华人民共和国城乡规划法》第六十五条赋予了乡、镇人民政府对乡村规划区内违法建设的查处权力。

在认定违法建筑时，各部门会遵循以下流程：

• 线索发现：通过群众举报、日常巡查、卫片执法等途径获取疑似违建信息。
• 调查取证：现场勘查核实建筑位置、面积、用途等基础数据，调取用地审批文件、规划许可证明等材料。
• 联合认定：对于复杂案件，可能需要多部门协同研判，例如自然资源部门确认土地性质，城管部门评估建筑安全性等。
• 公示告知：将认定结果向社会公开，保障当事人陈述申辩权利。

特殊情形下的认定主体差异：

• 历史遗留问题：部分早期建设的无证房屋可能因政策调整被纳入合法化范畴，需结合当地专项整治方案确定处理方式。
• 跨区域违建：跨行政区域的违法建筑由共同上级政府指定管辖机关，避免推诿扯皮。

建议：

• 在面对违法建筑问题时，建议首先明确违法建筑的地点和性质，然后咨询当地相关部门以获取具体的认定和处理流程。
• 同时，也提醒广大建设单位和个人在从事建设活动前，务必依法依规办理相关手续，避免产生违法建筑行为。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。