违法建设的认定通常由城乡规划主管部门或者城市管理综合行政执法部门负责。以下是对这一问题的详细分析：
一、认定主体
城乡规划主管部门：
- 根据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门负责城乡规划的制定、实施和监督管理工作。在违法建设认定方面，城乡规划主管部门具有专业的规划知识和技术手段，能够对建设行为是否符合城乡规划进行准确判断。
城市管理综合行政执法部门：
- 在一些地区，城市管理综合行政执法部门也承担着违法建设认定的职责。这些部门通常负责城市管理方面的综合执法工作，包括查处违法建设行为。它们可能依据地方性法规或规章，结合城乡规划主管部门的意见，对违法建设进行认定。
二、认定程序
调查取证：
- 认定违法建设前，相关部门会进行调查取证工作，包括收集现场照片、询问当事人、查阅相关规划文件等，以确定建设行为是否违法。
审查判断：
- 在收集到足够证据后，相关部门会依据相关法律法规和城乡规划，对建设行为进行审查判断。如果建设行为违反了城乡规划或相关法律法规，则会被认定为违法建设。
出具认定意见：
- 经过审查判断后，相关部门会出具违法建设认定意见，明确建设行为的违法性质、违法事实和法律依据等。
三、特殊情况下的认定
历史遗留问题：
- 对于一些历史遗留的违法建设问题，如因历史原因未取得规划许可或建设手续不全的建筑，相关部门在认定时会考虑其历史背景、社会影响等因素，进行综合判断。
紧急情况下的认定：
- 在紧急情况下，如涉及公共安全、城市规划重大调整等，相关部门可能会依据相关法律法规和紧急程序，对违法建设进行快速认定和处理。
四、法律后果
一旦建设行为被认定为违法建设，相关部门将依法采取相应的处罚措施，如责令停止建设、限期拆除、罚款等。如果违法建设行为严重影响了城乡规划的实施或公共安全，还可能面临更严厉的法律制裁。
建议：如果您对违法建设的认定有疑问或需要进一步的法律帮助，请直接向我咨询。作为专业律师，我将根据您的具体情况，提供详细的法律解释和专业的法律建议。