针对您提出的“政府认定农村自建房违建就可以直接拆除吗”这一问题，我进行了详细的查询和分析，以下是我为您提供的解答：

首先，需要明确的是，即使房屋被政府认定为违建，也并不意味着可以直接拆除。根据《城乡规划法》的相关规定，对于在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，乡、镇人民政府有责任责令停止建设、限期改正。只有在逾期不改正的情况下，才可以考虑拆除。

进一步来说，对违法建筑的认定和处理需要遵循一系列法定程序。这包括调查违建房屋所有人的基本情况，收集影像资料以及与违建房屋所有人的谈话询问笔录等。相关部门在完成调查取证工作后，会根据《城乡规划法》、《行政处罚法》等法律法规，对涉案房屋作出是否属于违法建筑的认定。

即使房屋被认定为违法建筑，被征收人也依然享有陈述、申辩和听证等合法权益。对于不违反城乡规划但没有办理规划建设审批的建筑，政府可以要求限期改正及罚款，并补办相关行政许可手续。而对于严重影响城乡规划的建筑，政府会作出《责令限期拆除违法建筑决定书》。如果行政相对人逾期未自行拆除违法建筑，政府才会组织实施拆除行为。

此外，值得注意的是，即使房屋已经被认定成违建，也不代表所有违建都必须拆除。根据法律规定，违建房屋分为程序违法和实际违法，根据违法程序的不同会作出不同的处罚决定。一些可以通过改正、罚款消除影响的建筑，应当让其限期改正并罚款补发证件；只有一些无法消除影响的建筑才会被拆除。

综上所述，政府认定农村自建房为违建后，并不能直接拆除，而需要遵循一系列法定程序，并充分保障被征收人的合法权益。如果征收方未经任何法定程序就直接将房屋当作违建拆除，被征收人可以通过法律程序来维护自身的合法权益。