违规搭建的管理涉及多个部门，具体由哪个部门来处理，主要取决于违规搭建的具体情况、所在地区的相关规定以及违建行为对他人合法权益的影响。以下是从不同角度对违规搭建处理部门的详细分析：
城乡规划主管部门（自然资源部门/规划部门）
- 主要职责：该部门是违规搭建管理的主要责任部门，负责土地利用和城乡规划的管理和监督。对于违反土地利用总体规划和城乡规划的建设行为，如改变土地用途、未按照规划许可进行建设等，该部门有权进行认定和处理。
- 适用情况：例如，在耕地上违规搭建建筑物、在规划为绿地的土地上搭建房屋等，这些行为都直接违反了土地利用和城乡规划，应由城乡规划主管部门负责处理。
城市管理部门（综合执法局/城管）
- 主要职责：城市管理部门集中行使城市规划管理方面的行政处罚权，负责查处和监管违反城市规划的建设行为。在城市建成区内，该部门是处理违规搭建问题的主要执法力量。
- 适用情况：适用于城市区域内未经规划许可进行的临时或永久性建筑物、构筑物搭建，如街道两旁私自搭建的简易棚屋、占用公共通道搭建的摊位等。这些行为不仅违反了城市规划，还影响了城市容貌、环境卫生和公共秩序，应由城市管理部门负责处理。
住房和城乡建设部门
- 主要职责：该部门对建筑工程的建设活动进行监督管理，确保建筑工程符合相关的建筑质量、安全和规划要求。
- 适用情况：主要针对规模较大、涉及建筑工程施工的违规搭建行为，如未取得施工许可证就开始建设的多层或高层建筑。这些行为不仅违反了城乡规划，还可能存在安全隐患，应由住房和城乡建设部门负责处理。
乡镇人民政府或街道办事处
- 主要职责：在其辖区内对各类建设活动进行日常巡查和监督管理，对于发现的违规搭建行为有权进行制止和处理。
- 适用情况：适用于农村地区或城市街道社区内的小规模违规搭建行为，如村民在宅基地上违规扩建房屋、居民在小区内私自搭建雨棚等。这些行为虽然规模较小，但也违反了相关规定，影响了社区环境和秩序，应由乡镇人民政府或街道办事处负责处理。
法律诉讼途径
- 适用情况：如果邻居的违建行为侵犯了自己的合法权益，除了向相关政府部门投诉外，还可以向法院提起民事诉讼，要求对方排除妨碍、恢复原状等。这是一种保护自身权益的有效手段。例如，如果违建行为导致了自家房屋采光、通风受阻，或者存在安全隐患等，都可以通过法律途径来维护自己的权益。
总结与建议：
- 在处理违规搭建问题时，建议先了解当地的具体规定和流程，确定由哪个部门来主导处理。
- 如果违建行为侵犯了自身的合法权益，除了向相关政府部门投诉外，还可以考虑通过法律途径来维护自己的权益。
- 在处理过程中，保持与相关部门的沟通，积极配合调查和处理工作，以便尽快解决问题。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。