关于“谁来认定违建”的问题，我可以为你提供详细的解答。
结论前置：违章建筑的认定工作主要涉及城乡规划主管部门、乡（镇）人民政府、自然资源部门以及城市管理综合行政执法部门等。这些机关根据相关法律法规，在不同情形下对违章建筑进行认定和处理。
详细分析：
城乡规划主管部门：
- 在城市、镇规划区内，城乡规划主管部门是主要的违章建筑认定机关。它们依据《中华人民共和国城乡规划法》，对未取得建设工程规划许可证或未按规划许可建设的建筑进行认定，并作出相应的处理决定。
乡、镇人民政府：
- 在乡、村庄规划区内，乡、镇人民政府负责乡村规划管理，并对未依法取得乡村建设规划许可证或未按许可建设的建筑进行认定。一旦认定为违章建筑，它们将责令停止建设、限期改正；逾期不改的，可依法进行拆除。
自然资源部门：
- 对于涉及非法占用土地的建设行为，自然资源部门负责监管并查处。它们对未经批准擅自占用土地进行建设的行为进行认定，并依法进行处罚。
城市管理综合行政执法部门：
- 在部分地方，城市管理综合行政执法部门通过立法授权，集中行使对违章建筑的处罚权。它们根据地方政府的授权，对城市规划区内的违章建筑进行巡查、认定和处罚。
此外，住建部门也负有城市规划和建设管理的职责，对违章建筑同样具有认定权力。
总结：
违章建筑的认定是一个涉及多个国家机关的复杂过程。不同机关根据各自的职责和法律法规，在不同情形下对违章建筑进行认定和处理。如果你对具体的违章建筑认定有疑问或需要进一步的法律帮助，请随时向我咨询，我将为你提供专业的法律解答和建议。