关于违法建设的认定主体，结论是：主要由城乡规划行政主管部门（即规划部门）进行认定，但城市管理行政执法部门（即城管）在一定条件下也拥有认定权。以下是对这一结论的详细解释：

1. 城乡规划行政主管部门的认定权：

   • 根据《城乡规划法》第64条，城乡规划行政主管部门是查处违反规划进行违法建设的主要执法主体。
   • 城乡规划部门拥有包括建管、测绘等专业人员、专业技术条件和设备，更有利于对违法建筑进行调查和认定，保障依法行政和行政相对人的合法权益。

2. 城市管理行政执法部门的认定权：

   • 城管执法部门依据城乡规划和物业管理方面的法律、法规和规章的规定，对擅自搭建建筑物、构筑物的违法行为拥有调查取证权和违法认定权。
   • 在某些情况下，城管执法部门可能需要规划管理部门的协助，此时应出具《协助通知书》。

综上所述，违法建设的认定并非完全由城管或规划部门单独完成，而是根据具体情况和法律法规的授权，由这两个部门共同协作完成。如果你在实际生活中遇到了相关问题，可以直接向我咨询，我会根据你的具体情况提供进一步的法律建议。