关于乡镇是否可以直接认定违建的问题，这涉及到农村违法建筑的认定和处理流程，下面我将为您详细解答。

首先，农村违法建筑的认定并非由乡镇政府直接决定，而是需要依据相关法律法规进行。根据《中华人民共和国土地管理法》以及《城乡规划法》的相关规定，农村违法建筑主要指的是未依法取得乡村建设规划许可证、建设工程规划许可证，在农用地或者农村建设用地上进行建设，擅自动工兴建的各种建筑物。这些建筑物的认定需要综合考虑多个因素，包括但不限于建筑物的位置、用途、建设手续等。

在认定过程中，乡镇政府确实会起到一定的管理作用。例如，在立案和调查阶段，乡镇政府可能会作为执法部门之一，对发现的或接到投诉、举报的违法建筑进行初步调查。然而，这并不意味着乡镇政府可以直接认定某建筑为违建。实际上，认定违建需要更严格的法律程序和证据支持，通常需要县级以上人民政府或相关主管部门进行最终确认。

对于农村违法建筑的处理，政府通常会采取限期拆除等措施。如果当事人拒不自行拆除，县级政府可以依法强制拆除或者申请法院强制拆除。这一过程中，乡镇政府可能会协助县级政府进行相关工作，但并非直接执行拆除决定。

此外，值得注意的是，农村无证房屋并不等同于违章建筑。人民法院在处理相关案件时，会根据具体案件进行具体区分，综合考量各种因素，如建筑物的历史原因、实际用途、是否对公共利益造成损害等，以作出合理判断。

综上所述，乡镇政府在农村违法建筑的认定和处理过程中确实扮演着一定角色，但并不能直接认定违建。违建的认定需要依据相关法律法规，经过严格的法律程序和证据支持，最终由县级以上人民政府或相关主管部门进行确认。如果您对某建筑是否为违建有疑问，建议咨询当地县级以上人民政府或相关主管部门以获取准确信息。