有权认定违建的主体主要是城乡规划主管部门、自然资源主管部门以及城市管理综合行政执法部门（在特定授权下），但具体权限和认定程序需依据相关法律法规进行。以下是对这一问题的详细分析：
城乡规划主管部门：
- 根据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门负责城乡规划的制定、实施和监督管理工作。在违建认定方面，城乡规划主管部门有权对未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的行为进行查处，并认定相关建筑为违建。
自然资源主管部门：
- 自然资源主管部门（原国土资源主管部门）在土地管理方面具有重要职责。对于未经批准或者采取欺骗手段骗取批准，非法占用土地进行建设的行为，自然资源主管部门有权进行查处，并认定相关建筑为违建。这主要涉及到土地使用权的合法性和土地用途的合规性。
城市管理综合行政执法部门：
- 在一些地区，城市管理综合行政执法部门（如城管局）被授权对违建进行查处。然而，这种授权通常是在地方性法规或规章中明确规定的，且城管部门的查处权限和程序需严格遵循相关法律法规。需要注意的是，城管部门本身并不直接拥有违建认定的权力，而是依据相关法律法规和授权进行查处工作。在查处过程中，如果涉及违建认定，城管部门通常会与城乡规划主管部门或自然资源主管部门进行协作，由这些部门出具认定意见。
在实际操作中，违建的认定是一个复杂且严谨的过程，它涉及到多个部门的协作和多个法律法规的适用。一般来说，违建的认定需要遵循以下程序：
- 调查取证：相关部门（如城乡规划主管部门、自然资源主管部门或城管部门）会对涉嫌违建的建筑进行调查取证，包括收集相关证据、询问当事人等。
- 认定意见：在调查取证的基础上，相关部门会出具违建认定意见，明确该建筑是否属于违建以及违建的具体情况。
- 处理决定：根据违建认定意见，相关部门会依法作出处理决定，如责令限期拆除、罚款等。
如果您对违建认定有疑问或遇到相关问题，建议您及时咨询当地的相关部门或专业律师，以了解具体的法律法规和程序要求。同时，也请您注意保留相关证据和资料，以便在需要时提供证明。作为专业律师，我在房产纠纷领域有丰富的经验，如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。