私搭乱建一般由当地的城乡规划主管部门或者城市管理综合行政执法部门来管。以下从不同角度为你详细分析：

管理部门职责角度

1. 城乡规划主管部门：依据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门负责本行政区域内的城乡规划管理工作。私搭乱建往往违反了城乡规划，比如未按照规划要求进行建设，或者在没有取得建设工程规划许可证的情况下擅自搭建建筑物、构筑物等。城乡规划主管部门有权对这类违法行为进行查处，包括责令停止建设、限期改正，处以罚款等。例如，某村民在自家宅基地上未经批准擅自搭建了一个简易仓库，这可能就违反了当地的城乡规划，城乡规划主管部门就可以介入处理。
2. 城市管理综合行政执法部门：在很多地方，城市管理综合行政执法部门也承担着对私搭乱建行为的监管职责。它们通常具有较为广泛的执法权限，能够对城市管理范围内的各种违法行为进行查处。对于一些在城市建成区内的私搭乱建，比如小区内业主私自搭建的阳光房、违规扩建的阳台等，城市管理综合行政执法部门可以依据相关法律法规进行调查和处理，采取责令拆除、罚款等措施。

不同场景角度

1. 农村地区：在农村，除了上述城乡规划主管部门可能涉及管理外，乡镇人民政府也有一定的管理职责。根据《中华人民共和国土地管理法》等法律法规，乡镇人民政府对本辖区内的土地利用和建设活动有一定的监督和管理权限。对于农村村民私搭乱建占用耕地、违反宅基地使用规定等行为，乡镇人民政府可以进行制止和纠正，并报告上级有关部门进行处理。比如，某村民在耕地上私自搭建了养殖棚，乡镇人民政府发现后可以要求其停止建设并恢复土地原状。
2. 城市小区内：在城市小区内，除了城市管理综合行政执法部门可以管理私搭乱建外，物业服务企业也有一定的协助管理义务。物业服务企业应当按照物业服务合同的约定，对小区内的公共区域和业主的行为进行管理和监督。发现业主有私搭乱建行为时，物业服务企业应当及时进行劝阻和制止，并向相关部门报告。例如，小区内某业主在公共绿地上搭建了一个小亭子，物业服务企业可以要求其拆除，如果业主不听劝阻，物业服务企业可以向城市管理综合行政执法部门反映情况。

法律后果角度

如果相关部门发现私搭乱建行为后，会依法进行处理。对于情节较轻的，可能会责令限期改正，拆除违法建筑物、构筑物，并处以一定数额的罚款；对于情节严重，造成较大影响或者拒不改正的，可能会面临更严厉的处罚，甚至可能会被追究刑事责任（不过这种情况相对较少，一般是在私搭乱建行为引发了其他严重后果，如重大安全事故等时才可能涉及）。

如果你遇到了私搭乱建相关的问题，比如自己被他人私搭乱建影响权益，或者自己被指控私搭乱建等，都可以直接向我咨询，我会为你提供专业的法律建议和帮助。