违建认定部门主要是城乡规划主管部门，但也可能涉及其他部门，具体取决于违建的具体情况和地域。

1. 城乡规划主管部门：在城市规划区内，未取得建设工程规划许可证或未按许可证规定进行建设的建筑物，由城乡规划主管部门负责认定。这是违建认定的主要部门，确保建筑活动符合整体规划要求。

2. 土地管理部门：对于非法占用土地进行建设的行为，土地管理部门也承担认定和处理责任。例如，未经批准或骗取批准非法占用土地建设的建筑物，由县级以上人民政府土地行政主管部门进行认定和处理。

3. 城管（城市综合执法）部门：在许多地方，城管部门通过相对集中行政处罚权的方式，被赋予认定并查处城市规划区内违章建筑的职责。城管部门负责城市管理和行政执法工作，对城市建成区内的违法建设行为进行监管和认定。

4. 特殊情况下的认定部门：

   • 在乡、村庄规划区内，由乡、镇人民政府负责认定违章建筑。
   • 在一些开发区、特定功能区等区域，当地管理机构也可能被赋予认定违章建筑的职责，具体需依据当地的管理体制和法规规定来确定。

综上所述，违建的认定部门并非单一，而是根据违建的具体情况和地域来确定的。如果您对某个建筑是否属于违建有疑问，建议咨询当地的城乡规划主管部门或相关执法部门，以获取准确的认定和处理意见。