认定违法建设能否消除规划影响，一般由城乡规划主管部门进行认定和处罚。以下从不同角度进行详细分析：

一、认定与处罚的主体

在认定违法建设及其能否消除规划影响的问题上，城乡规划主管部门是主要的认定和处罚主体。根据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门负责城乡规划的制定、实施、修改、监督检查以及城乡建设活动中的违法建设行为的查处。因此，当存在违法建设时，城乡规划主管部门有权进行认定，并判断该违法建设是否可以通过整改等方式消除对规划的影响。

二、认定与处罚的流程

1. 发现与立案：城乡规划主管部门在日常巡查、群众举报或其他途径发现违法建设行为后，会进行初步调查，并决定是否立案。

2. 调查与取证：立案后，城乡规划主管部门会组织人员进行详细调查，收集相关证据，包括现场勘查记录、照片、视频、规划图纸等，以证明违法建设的存在及其对规划的影响。

3. 认定与处罚决定：在调查取证的基础上，城乡规划主管部门会根据相关法律法规和规划要求，对违法建设进行认定，并判断其是否可以通过整改消除对规划的影响。如果认定违法建设无法消除对规划的影响，或者违法建设行为严重违反了规划要求，城乡规划主管部门会依法作出处罚决定，包括责令停止建设、限期拆除、罚款等。

4. 执行与监督：处罚决定作出后，城乡规划主管部门会监督违法建设行为的执行情况，确保处罚决定得到有效执行。如果违法建设行为人拒不执行处罚决定，城乡规划主管部门可以依法申请人民法院强制执行。

三、特殊情况下的认定与处罚

在某些特殊情况下，如违法建设涉及多个部门或领域，或者违法建设行为人提出异议并申请行政复议或提起行政诉讼时，认定与处罚的过程可能会更加复杂。此时，城乡规划主管部门可能需要与其他相关部门进行协调，或者等待行政复议或行政诉讼的结果后再作出最终认定与处罚决定。

四、法律建议

1. 遵守规划要求：在进行建设活动时，务必遵守城乡规划要求，确保建设行为合法合规。

2. 及时咨询与整改：如果发现自己的建设行为可能存在违法情况，应及时咨询城乡规划主管部门或专业律师，了解相关法律法规和规划要求，并尽快进行整改以消除对规划的影响。

3. 积极应对处罚：如果收到城乡规划主管部门的处罚决定，应认真对待并积极应对。如果认为处罚决定存在错误或不合理之处，可以依法申请行政复议或提起行政诉讼来维护自己的合法权益。

在实际操作中，如果遇到认定违法建设能否消除规划影响的问题，建议直接向当地的城乡规划主管部门咨询并获取具体指导。同时，也可以向我咨询相关法律问题，我会根据具体情况提供专业的法律意见和建议。