关于“拆除违法建筑的处罚权”这一问题，我可以明确告诉你，这一权力主要归属于城市管理部门，具体来说，通常是由县级以上地方人民政府城乡规划主管部门来行使。下面我将详细解释这一结论，并从不同角度进行阐述。

1. 法律法规依据：

   • 根据《中华人民共和国城乡规划法》的相关规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
   • 这意味着，对于违法建筑，城乡规划主管部门有权根据具体情况作出责令停止建设、罚款、限期拆除或没收实物等处罚决定。

2. 处罚权的执行：

   • 在实际操作中，当发现违法建筑时，城乡规划主管部门会首先进行调查取证，确认违法事实。
   • 随后，根据违法建筑的性质、影响程度等因素，主管部门会作出相应的处罚决定，并通知当事人。
   • 如果当事人不自行拆除违法建筑，主管部门有权依法申请人民法院强制执行，或者由县级以上人民政府责成有关部门实施强制拆除。

3. 特殊情况说明：

   • 需要注意的是，拆除违法建筑并非简单的行政行为，而是需要遵循严格的法律程序和规定。在拆除过程中，必须保障当事人的合法权益，确保拆除行为的合法性和正当性。
   • 此外，对于某些特殊类型的违法建筑（如历史建筑、文物保护单位等），在拆除前还需要进行特别的评估和审批。

综上所述，拆除违法建筑的处罚权主要归属于县级以上地方人民政府城乡规划主管部门。如果你面临相关问题或需要进一步的法律咨询，请直接向我提问，我会根据你的具体情况提供针对性的帮助和建议。