违建的认定通常由城乡规划主管部门或城市管理综合行政执法部门负责。以下是对这一问题的详细解答：

1. 主要认定部门：

   • 城乡规划主管部门：根据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门负责城乡规划的制定、实施和监督管理工作。在违建认定方面，该部门有权对建筑物、构筑物是否符合城乡规划进行审查，并作出认定。
   • 城市管理综合行政执法部门：在城市管理领域，城市管理综合行政执法部门也承担着违建认定的职责。它们通常负责查处违反城市管理法规的行为，包括未经批准擅自建设、改变建筑用途等违建行为。

2. 认定流程：

   • 调查取证：认定部门在接到违建举报或发现违建线索后，会进行调查取证工作，包括现场勘查、询问当事人、查阅相关规划文件等。
   • 审查判断：根据调查取证的结果，认定部门会对照城乡规划或相关法规，判断建筑物、构筑物是否构成违建。
   • 作出认定：如果认定建筑物、构筑物构成违建，认定部门会出具违建认定书，明确违建的性质、位置、面积等信息。

3. 特殊情况下的认定：

   • 历史遗留问题：对于一些历史遗留的违建问题，认定部门可能会结合当时的规划情况和相关政策进行综合判断，以确定是否构成违建。
   • 复杂情况：对于一些涉及多个部门或法律关系复杂的违建问题，认定部门可能会组织相关部门或专家进行会商，以作出准确的认定。

4. 法律后果：

   • 拆除或整改：一旦建筑物、构筑物被认定为违建，根据相关法律法规的规定，可能会面临拆除或整改的法律后果。
   • 罚款：除了拆除或整改外，违建者还可能面临罚款的处罚。罚款的数额通常根据违建的性质、面积、影响等因素进行确定。

建议：如果您对违建的认定有疑问或需要进一步的法律帮助，可以直接向我咨询。我会根据您的具体情况，提供详细的法律解释和专业的法律建议。