您好，关于违建的认定部门，这主要取决于违建的具体情况和所在地区的具体规定。一般来说，违建的认定和处罚涉及多个部门，主要包括城乡规划主管部门、城市管理部门以及综合行政执法部门等。

一、城乡规划主管部门

根据《中华人民共和国城乡规划法》的相关规定，县级以上地方人民政府城乡规划主管部门负责本行政区域内的城乡规划管理工作。这包括了对建筑物、构筑物等是否符合城乡规划进行审查和认定。如果建筑物未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设，那么城乡规划主管部门有权将其认定为违法建设。

二、城市管理部门

在某些地区，城市管理部门也承担着对违法建设的认定和处罚职责。他们依据城市管理相对集中行政处罚权的规定，对未经规划部门许可的违法建设行为进行行政处罚。这意味着，如果建筑物未经规划许可擅自建设，城市管理部门也有权进行认定和处罚。

三、综合行政执法部门

在部分地区，综合行政执法部门也参与到违建的认定和处置工作中。他们可能根据地方性法规或规章的规定，联合其他相关部门对违建进行查处。例如，在某些县或市，综合行政执法局会与自然资源和规划局、农业农村局等部门共同负责违建的认定和处置。

四、具体案例与地区差异

以天津市为例，根据天津市的相关规定，城乡规划主管部门（如天津市规划和自然资源局）负责对未按照建设工程规划许可证的规定进行建设的处罚，而城市管理部门（如市城市管理委）则负责对未取得建设工程规划许可证进行建设的行为进行处罚。而在文成县，违建的认定和处置则涉及县自然资源和规划局、县农业农村局、县综合行政执法局等多个部门。

五、建议与总结

1. 了解当地规定：由于违建的认定和处罚存在地区差异，建议您首先了解当地的具体规定和流程。
2. 咨询相关部门：如果您对某栋建筑物是否属于违建存在疑问，可以向当地的城乡规划主管部门、城市管理部门或综合行政执法部门进行咨询。
3. 遵守法律法规：为了避免不必要的麻烦和损失，建议您在建设建筑物时严格遵守相关的法律法规和规划要求。

综上所述，违建的认定部门并非单一，而是根据具体情况和地区规定而定。因此，在处理违建问题时，建议您先了解当地的具体规定和流程，再咨询相关部门以获取准确的信息和指导。