高楼违建的处理责任主体主要是城市规划部门或城市管理综合行政执法部门，具体取决于当地的机构设置和职责划分。以下从不同角度为你详细分析：
一、主要处理部门
城市规划部门：
- 在许多地区，城市规划部门是负责查处违法建设的主要机构。它们负责城市规划的实施和监督，对违反城市规划的建设行为进行查处。
- 如果高楼违建违反了城市规划的相关规定，如建筑高度、建筑密度、容积率等，城市规划部门有权进行查处，并要求违建者进行整改或拆除。
城市管理综合行政执法部门：
- 在一些地区，城市管理综合行政执法部门（也称为城管部门）负责查处违法建设。它们通常具有更广泛的执法权限，包括对城市规划、建设、环保等多方面的违法行为进行查处。
- 如果高楼违建属于城市管理综合行政执法部门的职责范围，它们将负责进行查处，并采取相应的执法措施。
二、处理流程
发现违建：
- 违建行为可能由城市规划部门、城市管理综合行政执法部门、社区、物业或居民等发现。
调查取证：
- 相关处理部门将对违建行为进行调查取证，包括收集现场照片、视频、规划图纸等证据，以确认违建事实。
下达整改通知：
- 如果确认存在违建行为，处理部门将向违建者下达整改通知，要求其在规定期限内进行整改或拆除违建部分。
强制执行：
- 如果违建者未在规定期限内进行整改或拆除，处理部门有权采取强制执行措施，如组织人员强制拆除违建部分，并可能对违建者处以罚款等行政处罚。
三、特殊情况处理
涉及多个部门：
- 如果高楼违建涉及多个部门的管理职责，如同时违反城市规划、消防安全、环保等多方面的规定，相关部门将进行联合执法，共同处理违建行为。
历史遗留问题：
- 对于一些历史遗留的违建问题，处理部门可能会根据具体情况进行特殊处理，如要求违建者补办相关手续、缴纳罚款等，以逐步解决违建问题。
四、法律后果
行政处罚：
- 违建者可能面临罚款、没收违法所得、责令停业整顿等行政处罚。
民事责任：
- 如果违建行为给相邻方造成损害，违建者可能需要承担民事赔偿责任。
刑事责任：
- 在极端情况下，如果违建行为构成犯罪（如非法占用农用地罪等），违建者可能面临刑事追究。
建议：如果你发现身边有高楼违建行为，可以向当地的城市规划部门或城市管理综合行政执法部门进行举报。同时，作为业主或使用者，也应遵守相关法律法规，不进行违法建设行为，以免面临法律后果。如果你对高楼违建的处理有进一步的疑问或需要法律帮助，可以直接向我咨询。