处罚权集中行使后，认定违法建设并不必然需要由城乡规划部门进行，但城乡规划部门的认定通常是重要依据。以下从不同角度进行详细分析：

一、处罚权集中行使的背景与意义

处罚权集中行使是指将原本分散在多个部门的行政处罚权集中到一个部门行使，以提高行政效率、减少执法冲突和重复执法。在建设工程领域，处罚权集中行使有助于统一执法标准，加强对违法建设的打击力度。然而，处罚权的集中行使并不改变违法建设认定的专业性和技术性要求。

二、城乡规划部门在违法建设认定中的作用

1. 专业性与技术性：城乡规划部门具备专业的规划知识和技术手段，能够对建设行为是否符合规划要求进行准确判断。因此，在多数情况下，城乡规划部门的认定是判断违法建设的重要依据。

2. 法定职责：根据相关法律法规，城乡规划部门通常负责城乡规划的制定、实施和监督管理工作，包括对违法建设的查处。因此，在处罚权集中行使后，城乡规划部门仍然可能参与违法建设的认定工作。

三、处罚权集中行使后违法建设认定的其他可能性

1. 多部门协作：在处罚权集中行使的背景下，虽然行政处罚权可能集中到一个部门，但违法建设的认定可能仍然需要多部门协作。例如，城市管理部门、自然资源部门等可能根据各自职责参与违法建设的认定工作。

2. 专业机构鉴定：对于一些复杂或技术性的违法建设认定，可能需要委托专业机构进行鉴定。这些专业机构通常具备相应的资质和经验，能够提供客观、准确的鉴定意见。

3. 法律程序中的认定：在行政处罚或司法程序中，违法建设的认定也可能通过法律程序进行。例如，在行政复议或行政诉讼中，法院或复议机关可能对违法建设的认定进行审查并作出判断。

四、法律建议与风险提示

1. 遵守规划要求：建设单位和个人应严格遵守城乡规划要求，确保建设行为合法合规。避免因违法建设而面临行政处罚、拆除等法律后果。

2. 及时咨询与沟通：在建设过程中，如遇到规划调整、变更等问题，应及时与城乡规划部门沟通并咨询相关法律意见。以确保建设行为的合法性和安全性。

3. 关注处罚权集中行使的影响：随着处罚权集中行使的推进，建设单位和个人应关注相关政策法规的变化，了解处罚权集中行使对违法建设认定的影响。以便及时调整建设行为，避免不必要的法律风险。

如有任何关于建设工程领域的法律问题或需要进一步的法律建议，请随时向我咨询。