《城乡规划法》第64条的认定由县级以上地方人民政府城乡规划主管部门负责。以下是对该法条及其认定流程的详细解读：

一、法条内容

《中华人民共和国城乡规划法》第64条规定：未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。

二、认定流程

1. 调查认定：

   • 城乡规划主管部门会对涉嫌违法的建设行为进行调查，包括现场勘验、询问当事人、收集证据等。
   • 调查过程中，会核实建设项目是否取得了建设工程规划许可证，以及是否按照许可证的规定进行建设。

2. 责令停止建设：

   • 如果发现未取得建设工程规划许可证或者违反许可证规定进行建设，城乡规划主管部门会立即发出停止违法建设活动通知，责令其立即停止违法建设。

3. 处理决定：

   • 尚可采取改正措施消除对规划实施的影响的，城乡规划主管部门会责令建设单位在规定的期限内采取改正措施，并可能处以建设工程造价百分之五以上百分之十以下的罚款。
   • 无法采取改正措施消除影响的，城乡规划主管部门会通知有关当事人，在规定的期限内无条件拆除全部或部分违法建筑物、构筑物和其他设施。
   • 对于不能拆除的违法建筑，城乡规划主管部门会决定无偿没收该建筑、构筑物或其他设施，并可能并处建设工程造价百分之十以下的罚款。

4. 法律救济：

   • 如果当事人对限期拆除或其他处理决定有异议，可以在有效期内申请行政复议或行政诉讼来维护自身合法权益。

三、注意事项

• 城乡规划主管部门在作出处理决定前，必须确保事实清楚、证据确凿，并严格按照法定程序进行。
• 当事人应当积极配合城乡规划主管部门的调查和处理工作，及时提供相关资料和说明情况。
• 对于违法建设行为，城乡规划主管部门将坚持让违法成本高、使违法者无利可图的原则，以有效地遏制违法建设，保障城乡规划的顺利实施。

综上所述，《城乡规划法》第64条的认定由县级以上地方人民政府城乡规划主管部门负责，他们会对涉嫌违法的建设行为进行详细的调查和处理，并根据实际情况作出相应的处理决定。