违法建设的认定主要由城乡规划主管部门、乡镇人民政府以及其他相关部门（如自然资源部门、城市管理综合执法部门等）根据各自职责和权限进行。以下是具体说明：
一、主要认定部门及依据
城乡规划主管部门
- 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
- 职责范围：负责城市规划区内违法建筑的认定，包括未批先建、超面积建设等行为。
乡镇人民政府
- 法律依据：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
- 职责范围：针对农村集体土地上未经审批擅自搭建的建筑物、构筑物进行认定。
自然资源部门
- 适用情况：主要负责处理涉及土地利用规划方面的违法建设，如未经批准擅自占用农用地进行建设。
- 法律依据：根据《中华人民共和国土地管理法》第七十七条，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款；对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予处分；构成犯罪的，依法追究刑事责任。
城市管理综合执法部门（城管部门）
- 适用情况：在一些地方，城管部门被赋予了对违法建设的部分或全部查处权，特别是在城市街道、广场等公共场所的违法搭建行为。
- 法律依据：根据《城市管理执法办法》第八条，城市管理执法的行政处罚权范围依照法律法规和国务院有关规定确定，包括住房城乡建设领域法律法规规章规定的行政处罚权，以及环境保护管理、工商管理、交通管理、水务管理、食品药品监管方面与城市管理相关部分的行政处罚权。
二、认定流程与协作机制
- 线索发现：通过群众举报、日常巡查、卫片执法等途径获取疑似违建信息。
- 调查取证：现场勘查核实建筑位置、面积、用途等基础数据，调取用地审批文件、规划许可证明等材料。
- 联合认定：复杂案件需多部门协同研判，例如自然资源部门确认土地性质，城管部门评估建筑安全性。
- 公示告知：将认定结果向社会公开，保障当事人陈述申辩权利。
三、特殊情形下的认定主体差异
- 历史遗留问题：部分早期建设的无证房屋可能因政策调整被纳入合法化范畴，需结合当地专项整治方案确定处理方式。
- 跨区域违建：跨行政区域的违法建筑由共同上级政府指定管辖机关，避免推诿扯皮。
总结与建议：违法建设的认定部门因具体情况和地区差异而有所不同。在城市、镇规划区内，主要由城乡规划主管部门负责；在土地利用方面，由自然资源主管部门负责；在城市管理和公共场所方面，城管部门可能参与查处；而在乡、村庄规划区内，则由乡、镇人民政府负责。因此，在面对违法建设问题时，建议首先明确违法建设的地点和性质，然后咨询当地相关部门以获取具体的认定和处理流程。同时，也提醒广大建设单位和个人在从事建设活动前，务必依法依规办理相关手续，避免产生违法建设行为。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。