您好，关于违建由哪个部门认定的问题，这通常取决于具体的地区和违建的性质。不过，我可以根据一般情况和一些具体地区的规定来给您一个较为全面的解答。

首先，从一般原则来看，违建的认定通常与城乡规划管理相关。根据《中华人民共和国城乡规划法》的相关规定，县级以上地方人民政府城乡规划主管部门负责本行政区域内的城乡规划管理工作。这意味着，在大多数情况下，城乡规划主管部门（如规划局或自然资源和规划局）是负责认定违建的主要部门。

具体来说，如果建筑物、构筑物等未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设，那么这些建筑就可能被认定为违建。城乡规划主管部门会根据相关法律法规和城乡规划要求，对这些建筑进行审查，并作出是否违建的认定。

然而，不同地区的具体规定可能有所不同。例如，在某些地区，城市管理部门也可能行使对违建的认定和处罚权。这通常取决于该地区的城市管理相对集中行政处罚权的规定。在这些地区，城市管理部门可能会根据相关法律法规和规定，对未取得建设工程规划许可证或者未按照规定进行建设的行为进行处罚，这也间接涉及到了违建的认定。

此外，还有一些特殊情况。比如，在乡村地区，如果建筑物未取得乡村建设规划许可或者未按照乡村建设规划许可进行建设，那么这些建筑也可能被认定为违建。在这种情况下，乡镇人民政府或者相关的农业农村部门也可能参与到违建的认定和处置中来。

以天津市为例，根据天津市的相关规定，规划局及各区分局负责本行政区域内的规划管理工作，包括对未按照建设工程规划许可证的规定进行建设的处罚。而市城市管理委则负责对未取得建设工程规划许可证进行建设的行为进行处罚。这显示了在不同情况下，违建的认定和处罚可能由不同的部门负责。

再比如文成县，根据《文成县违法建筑认定及分类处置办法》的规定，违建的处置主体包括县自然资源和规划局、县农业农村局、县综合行政执法局、县住房和城乡建设局以及乡镇人民政府等部门。这些部门根据各自的职责和权限，对违建进行认定和处置。

综上所述，违建的认定通常由城乡规划主管部门负责，但具体部门可能因地区和违建性质而异。如果您遇到了违建问题，建议您先咨询当地的城乡规划主管部门或城市管理部门，了解具体的认定和处置流程。同时，您也可以根据当地的法律法规和规定，了解自己的权益和义务，以便更好地维护自己的合法权益。