结论前置：在我国，有权认定违建的部门根据违建所在区域和具体情况有所不同，主要包括城乡规划主管部门、乡镇人民政府、城市管理综合行政执法部门（城管执法局），以及特定情况下的自然资源部门和住房和城乡建设部门。

详细分析：

1. 城乡规划主管部门：

   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设。
   • 职责范围：主要负责城市规划区内违建的认定。对于未批先建、超面积建设等行为，城乡规划主管部门有权进行认定，并作出相应的处理决定，如责令停止建设、限期改正、罚款、限期拆除等。

2. 乡镇人民政府：

   • 法律依据：根据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正。
   • 职责范围：针对农村集体土地上未经审批擅自搭建的建筑物、构筑物进行认定。乡镇人民政府在违建认定中扮演着重要角色，确保农村地区的建设活动符合乡村规划要求。

3. 城市管理综合行政执法部门（城管执法局）：

   • 职责范围：在许多地方，城管部门通过相对集中行政处罚权的方式，被赋予认定并查处城市规划区内违建的职责。城管部门负责城市管理和行政执法工作，对城市建成区内的各类违法建设行为进行监管和认定，有效维护城市秩序和市容市貌。

4. 特定情况下的认定部门：

   • 自然资源部门：对涉及非法占用土地（如耕地、林地）的违建行为进行查处。依据《土地管理法》第七十七条，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，并作出相应处罚。
   • 住房和城乡建设部门：参与认定违反施工许可管理规定的建设项目。例如，未办理施工许可证擅自开工的工程，住房和城乡建设部门有权进行认定和处理，确保建筑工程的合法性和安全性。

特殊情形下的认定主体差异：

• 历史遗留问题：部分早期建设的无证房屋可能因政策调整被纳入合法化范畴，需结合当地专项整治方案确定处理方式。
• 跨区域违建：跨行政区域的违法建筑由共同上级政府指定管辖机关，避免推诿扯皮。

法律建议：

• 如果您发现疑似违建，可以向上述相关部门举报，由相关部门进行调查和认定。
• 如果您自己的建筑被认定为违建，您有权了解认定的依据和程序，并在规定时间内提出陈述和申辩。
• 在处理违建问题时，建议咨询专业律师，以确保您的合法权益得到保障。

总结：有权认定违建的部门因违建所在区域和具体情况而异，但主要集中在城乡规划主管部门、乡镇人民政府、城市管理综合行政执法部门，以及特定情况下的自然资源部门和住房和城乡建设部门。这些部门依据相关法律法规对建筑物进行审查，确保其合法性。如果您对违建问题存在疑问或需要法律建议，请直接向我咨询。