违法建筑的认定处理一般由县级以上地方人民政府城乡规划主管部门或县级以上人民政府土地行政主管部门进行。具体认定部门及依据如下：

1. 城乡规划主管部门：

   • 法律依据：《中华人民共和国城乡规划法》第六十四条规定，未取得建设工程规划许可证或未按许可证规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设并作出相应处理。
   • 职责范围：主要负责城市规划区内违法建筑的认定，包括未批先建、超面积建设等违反规划许可的行为。

2. 土地行政主管部门（通常指自然资源部门）：

   • 法律依据：《中华人民共和国土地管理法》第七十七条规定，未经批准或者采取欺骗手段骗取批准，非法占用土地进行建设的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，并作出相应处理。
   • 职责范围：主要负责查处涉及非法占用土地的违建行为，如擅自将农用地改为建设用地等。

此外，在乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可证规定进行建设的，由乡镇人民政府责令停止建设并限期改正；逾期不改正的，可以拆除。

综上所述，违法建筑的认定处理由城乡规划主管部门、土地行政主管部门（自然资源部门）以及乡镇人民政府等根据各自职责和权限进行。如果您面临相关问题，可以直接向我咨询，我会根据您的具体情况提供进一步的法律建议。