乡村违法建筑的认定主要由城乡规划主管部门、乡镇人民政府，以及自然资源部门、住房和城乡建设部门、农业农村部门等相关部门根据各自职责和权限进行。以下是各部门的具体认定职责和相关流程：

主要认定部门及依据

1. 城乡规划主管部门

   • 法律依据：《中华人民共和国城乡规划法》第六十四条规定，对于未取得建设工程规划许可证或未按许可证规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设，并依法进行处理。
   • 职责范围：主要负责城市规划区内违法建筑的认定，包括未批先建、超面积建设等违反规划的行为。

2. 乡镇人民政府

   • 法律依据：《中华人民共和国城乡规划法》第六十五条规定，对于在乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可证规定进行建设的，由乡镇人民政府责令停止建设并限期改正。
   • 职责范围：主要针对农村集体土地上未经审批擅自搭建的建筑物、构筑物进行认定和处理，是农村地区违建认定的主要责任主体。

3. 自然资源部门

   • 职责：主要负责土地资源的管理和监督，对于涉及非法占用土地（如耕地、林地）的违建行为进行查处，并依据相关法律法规追究法律责任。

4. 住房和城乡建设部门

   • 职责：参与认定违反施工许可管理规定的建设项目，如未办理施工许可证擅自开工的工程，以及涉及违反城乡规划、建筑安全标准等问题的农村违建。

5. 农业农村部门

   • 职责：在农村宅基地管理改革等方面发挥重要作用，参与农村违建的认定工作，特别是对于涉及农村宅基地使用规范和农业设施建设的合规性认定具有专业优势。

认定流程与方法

1. 线索收集与初步调查

   • 通过群众举报、日常巡查、卫片执法检查等途径获取疑似违建信息。
   • 相关部门接到线索后，会安排工作人员到现场进行初步查看，了解建筑物的基本情况，并拍摄照片、制作现场笔录等作为证据。

2. 资料核查

   • 核实建筑物是否办理了相关的用地审批手续、规划许可手续等合法证件。
   • 将建筑物的实际位置、布局等与当地的土地利用总体规划、村庄规划等进行比对，判断其是否符合规划要求。

3. 技术鉴定（如有需要）

   • 对于可能存在安全隐患的建筑物，委托专业检测机构进行建筑结构安全鉴定。
   • 进行测绘测量，精确测量建筑物的面积、高度、四至范围等数据。

4. 综合认定

   • 由乡镇人民政府组织自然资源、农业农村、住建等相关部门进行会商，根据各部门的调查结果和专业意见，综合分析判断建筑物是否为违建。
   • 经会商确定为违建的，由相关部门出具书面认定意见，明确说明违建的事实、依据以及处理建议等内容。

综上所述，乡村违法建筑的认定是一个涉及多个部门、多个环节的复杂过程，需要各部门协同合作、共同推进。