违法建筑一般由城乡规划主管部门或城市管理综合行政执法部门进行认定。以下是对此问题的详细分析：

1. 认定主体：

   • 城乡规划主管部门：根据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门负责城乡规划的制定、实施和监督管理工作。在违法建筑的认定上，城乡规划主管部门具有专业的规划知识和法律权限，能够对建筑是否符合城乡规划进行准确判断。
   • 城市管理综合行政执法部门：在城市管理领域，城市管理综合行政执法部门也承担着对违法建筑的查处职责。它们通常根据地方性法规或规章的授权，对辖区内的违法建筑进行巡查、发现和认定。

2. 认定依据：

   • 违法建筑的认定主要依据城乡规划、土地管理等相关法律法规。这些法律法规明确了建筑的合法性标准，如是否取得建设工程规划许可证、是否按照规划要求进行建设等。
   • 在认定过程中，相关部门会综合考虑建筑的用途、结构、位置等因素，以及是否对公共利益、城市规划等造成影响。

3. 认定程序：

   • 相关部门在发现疑似违法建筑后，会进行初步调查，收集相关证据材料。
   • 接着，会组织专业人员进行现场勘查，核实建筑的具体情况。
   • 然后，根据调查结果和法律法规的规定，作出是否认定为违法建筑的决定。
   • 最后，将认定结果通知当事人，并告知其享有的权利和救济途径。

4. 特殊情况：

   • 在某些地区，可能还存在其他具有违法建筑认定权限的部门，如乡镇人民政府等。这主要取决于地方性法规或规章的具体规定。
   • 如果建筑涉及多个部门的管理职责，如既涉及城乡规划又涉及土地管理，那么相关部门可能会联合进行认定。

建议：

• 如果您对某处建筑是否为违法建筑存在疑问，或者您的建筑被认定为违法建筑但您认为存在争议，建议及时向相关部门咨询或申请复议。
• 在处理违法建筑问题时，务必遵守相关法律法规的规定，不要擅自进行拆除或改建等行为，以免引发不必要的法律纠纷。

如有任何进一步的问题或需要法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。