有权认定违建的主体主要包括城乡规划主管部门、城市管理综合行政执法部门以及乡镇人民政府，具体认定权限和程序依据相关法律法规执行。以下是对这一问题的详细分析：
一、有权认定违建的主体
城乡规划主管部门：
- 根据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门负责城乡规划的制定、实施和监督管理工作。在房屋建设过程中，如果未经规划许可或者未按照规划许可的内容进行建设，城乡规划主管部门有权认定为违建，并依法进行处理。
城市管理综合行政执法部门：
- 在许多城市，城市管理综合行政执法部门（也称为城管部门）负责城市管理方面的综合执法工作，包括对违法建设的查处。这些部门通常具有对违建进行认定、处罚和拆除的权力。
乡镇人民政府：
- 在乡村地区，乡镇人民政府也具有一定的规划管理权限。根据《中华人民共和国城乡规划法》的规定，乡镇人民政府可以负责乡村规划的制定和实施，并对乡村范围内的违建进行认定和处理。
二、违建认定的程序和依据
调查取证：
- 在认定违建之前，相关部门通常会进行调查取证工作，包括现场勘查、询问当事人、查阅相关规划文件等，以确定房屋是否未经规划许可或者未按照规划许可的内容进行建设。
认定决定：
- 根据调查取证的结果，相关部门会作出是否认定为违建的决定。如果认定为违建，会依法出具认定书或者处罚决定书，并告知当事人相关的权利和义务。
法律依据：
- 违建的认定主要依据《中华人民共和国城乡规划法》等相关法律法规。这些法律法规规定了规划许可的制度、违建的认定标准和处罚措施等，为违建的认定提供了明确的法律依据。
三、特殊情况下的违建认定
历史遗留问题：
- 对于一些历史遗留的违建问题，如早期建设的房屋未取得规划许可但已存在多年且未造成严重影响的，相关部门可能会根据实际情况进行妥善处理，而不是简单地认定为违建并拆除。
紧急情况下的认定：
- 在某些紧急情况下，如房屋存在安全隐患或者影响公共利益等，相关部门可能会迅速作出违建认定，并采取相应的措施进行处置。
四、法律建议
了解相关法律法规：
- 作为房屋所有者或使用者，应了解相关的法律法规和规划要求，确保自己的房屋建设符合规定。
积极配合调查：
- 如果房屋被认定为违建或者面临违建认定的调查，应积极配合相关部门的工作，提供必要的资料和证据，以便相关部门作出准确的认定。
寻求法律帮助：
- 如果对违建认定有异议或者面临违建拆除等法律问题，可以寻求专业的法律帮助，维护自己的合法权益。
如果您在房屋产权方面遇到任何问题，包括违建认定、产权纠纷等，都可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。