存量违建的认定通常由城乡规划主管部门或城市管理综合行政执法部门负责。以下是对这一问题的详细分析：
一、认定主体
城乡规划主管部门：
- 根据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门负责城乡规划的制定、实施和监督管理工作。在违建认定方面，城乡规划主管部门具有专业的规划知识和技术手段，能够对建筑物的规划合规性进行准确判断。
- 在实际操作中，城乡规划主管部门通常会根据城乡规划、土地利用规划等相关法律法规，对建筑物的建设位置、高度、面积、用途等是否符合规划要求进行审查，从而确定是否存在违建行为。
城市管理综合行政执法部门：
- 在一些地区，城市管理综合行政执法部门也承担着违建认定的职责。这些部门通常具有更广泛的执法权限，能够处理包括违建在内的多种城市管理问题。
- 城市管理综合行政执法部门在认定违建时，可能会结合城乡规划主管部门的意见，同时考虑建筑物的实际使用情况、对周边环境的影响等因素，进行综合判断。
二、认定程序
调查取证：
- 认定部门在接到违建举报或发现违建线索后，会进行调查取证工作。这包括现场勘查、询问当事人、查阅相关规划文件等，以收集足够的证据来支持违建认定。
审查判断：
- 认定部门会根据调查取证的结果，结合相关法律法规和规划要求，对建筑物的合规性进行审查判断。如果建筑物确实存在违建行为，认定部门会出具违建认定书或相关决定文件。
告知与听证：
- 在作出违建认定决定前，认定部门通常会告知当事人拟认定的违建事实、理由和依据，并告知当事人享有陈述、申辩和要求听证的权利。如果当事人要求听证，认定部门会组织听证会，听取当事人的意见和证据。
三、特殊情况下的认定
历史遗留问题：
- 对于一些历史遗留的违建问题，认定部门可能会考虑建筑物的建设时间、当时的法律法规和规划要求等因素，进行综合判断。在某些情况下，历史遗留的违建可能不会被立即拆除或处罚，而是会采取其他措施进行妥善处理。
复杂情况下的联合认定：
- 在一些复杂情况下，如涉及多个部门职责或需要专业机构进行技术鉴定的违建问题，认定部门可能会组织相关部门或专业机构进行联合认定。这有助于确保违建认定的准确性和公正性。
四、法律后果与救济途径
法律后果：
- 一旦建筑物被认定为违建，可能会面临拆除、罚款等法律后果。具体后果取决于违建的性质、情节和当地法律法规的规定。
救济途径：
- 如果当事人对违建认定决定不服，可以依法申请行政复议或提起行政诉讼。在复议或诉讼过程中，当事人可以提出自己的意见和证据，维护自己的合法权益。
建议：如果您面临存量违建认定的问题，或者对违建认定有疑问，可以直接向我咨询。我会根据您的具体情况，提供专业的法律意见和帮助。