针对“乱建设房屋哪里管”的问题，结论前置：乱建设房屋的管理涉及多个部门，具体由哪个部门管理取决于违法建筑的具体情况和所在区域。以下是对不同情况下管理部门的详细解释：

1. 城乡规划部门：

   • 适用情形：主要适用于城市、镇规划区内未取得建设工程规划许可证或未按许可证规定进行建设的行为。
   • 法律依据：根据《中华人民共和国城乡规划法》第六十四条，此类违法行为由县级以上地方人民政府城乡规划主管部门责令停止建设，并视情况采取限期改正、罚款、限期拆除或没收实物及违法收入等措施。
   • 实例：如某开发商在城市市区内擅自改变建设工程规划许可证规定的建筑层数和面积进行建设，即由城乡规划部门进行监管和查处。

2. 乡镇人民政府：

   • 适用情形：针对乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可证规定进行建设的行为。
   • 法律依据：根据《中华人民共和国城乡规划法》第六十五条，此类违法行为由乡、镇人民政府责令停止建设、限期改正，逾期不改正的可拆除。
   • 实例：若某村民在村庄规划区内未取得乡村建设规划许可证就自行建设住宅，乡镇人民政府有权管理和处理。

3. 城市管理综合行政执法部门：

   • 适用情形：在部分城市，通过地方立法或行政授权，将原本由规划部门行使的对违法建筑的行政处罚权等职能集中交由该部门行使。
   • 法律依据：依据《中华人民共和国行政处罚法》，国务院或经其授权的省、自治区、直辖市人民政府可以决定一个行政机关行使有关行政机关的行政处罚权。
   • 实例：在大城市中，城管部门常会对城市街道两侧未取得许可搭建的违法棚亭等进行查处和拆除。

4. 土地管理部门：

   • 适用情形：当违法建筑涉及非法占用土地时，如未经批准或骗取批准非法占用土地进行建设。
   • 法律依据：根据《中华人民共和国土地管理法》第七十七条，此类违法行为由县级以上人民政府自然资源主管部门责令退还非法占用的土地，并视情况采取限期拆除、没收建筑物、罚款等措施。
   • 实例：如某企业未经土地管理部门批准擅自占用农用地建设厂房，即属土地管理部门查处范围。

综上所述，乱建设房屋的管理是一个涉及多个部门、依据多部法律法规的复杂过程。若您发现违建行为或需了解相关处理问题，建议首先向当地城乡规划主管部门或城市管理部门咨询，以获取最准确、最权威的指导和帮助。