乱搭乱建的管理责任主要归属于城市规划部门或城市管理综合行政执法部门，具体取决于当地的机构设置和职责划分。以下从不同角度为你详细分析：
一、法律法规依据
根据《中华人民共和国城乡规划法》的相关规定，在城市、镇规划区内进行建筑物、构筑物、道路、管线和其他工程建设的，建设单位或者个人应当向城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府申请办理建设工程规划许可证。这意味着，任何建设活动，包括搭建建筑物或构筑物，都需要经过规划部门的审批。未经审批擅自搭建的，即属于乱搭乱建，是违法行为。
二、管理部门职责
城市规划部门：
- 负责城市规划的制定、实施和监督。
- 对未经审批擅自搭建的建筑物或构筑物，有权进行查处，并要求建设单位或个人限期拆除或补办相关手续。
城市管理综合行政执法部门：
- 在许多地区，城市管理综合行政执法部门（如城管局）负责具体执行城市管理方面的法律法规，包括查处乱搭乱建行为。
- 它们有权对乱搭乱建进行现场检查、取证，并依法作出行政处罚决定，如罚款、责令限期拆除等。
三、不同情况下的管理责任
居民小区内的乱搭乱建：
- 如果乱搭乱建发生在居民小区内，除了城市规划部门或城市管理综合行政执法部门外，物业公司也可能负有一定的管理责任。
- 物业公司有义务对小区内的建设活动进行监督，发现乱搭乱建行为应及时制止，并向相关部门报告。
农村地区的乱搭乱建：
- 在农村地区，乱搭乱建的管理可能涉及乡镇政府或土地管理部门。
- 乡镇政府负责本行政区域内的规划管理工作，对未经审批擅自搭建的建筑物或构筑物，有权进行查处。
- 土地管理部门则负责土地资源的保护和合理利用，对违反土地利用总体规划擅自搭建的行为，也有权进行查处。
四、法律后果与建议
- 法律后果：乱搭乱建不仅违反了城乡规划法等相关法律法规，还可能对公共安全、市容市貌等造成不良影响。因此，一旦被发现，建设单位或个人可能面临罚款、责令限期拆除等行政处罚。
- 建议：如果你发现身边有乱搭乱建行为，可以向当地的城市规划部门、城市管理综合行政执法部门或乡镇政府等部门进行举报。同时，作为建设单位或个人，在进行任何建设活动前，都应先了解相关法律法规和审批程序，确保合法合规地进行建设。
如果你在征地拆迁领域遇到任何法律问题，或者对乱搭乱建的管理责任有进一步的疑问，都可以直接向我咨询。我会根据你的具体情况，为你提供专业、全面的法律建议。