违建房屋的管理涉及多个政府部门，具体由哪个部门管，需要根据违建的性质、地点及严重程度来确定。以下是对这一问题的详细解答：

结论前置：违建房屋的管理主要由城市管理综合行政执法部门、城乡规划主管部门、乡镇人民政府、土地行政主管部门以及建设行政主管部门等协同负责。

1. 城市管理综合行政执法部门（城管部门）：

   • 主要负责城市规划区内违反规划建设管理规定的违法建筑的查处工作，对于市区内未经规划许可擅自搭建的建筑物、构筑物，有权责令停止建设、限期拆除等。

2. 城乡规划主管部门（城乡规划局）：

   • 负责城乡规划的实施监督管理，对未取得建设工程规划许可证或未按许可证规定进行建设的违法建筑进行查处，可依法作出处罚决定，包括责令改正、罚款、限期拆除等。

3. 乡镇人民政府：

   • 对乡、村庄规划区内的违法建设行为有管辖权，可以责令停止建设、限期改正；逾期不改正的，可以拆除，对于本辖区农村集体土地上的违建负有直接管理责任。

4. 土地行政主管部门（国土资源管理局）：

   • 代表国家行使土地管理权，对违法占地建设行为进行查处，审查建房用地的合法性，查处未依法取得用地手续的建房行为。

5. 建设行政主管部门（住房和城乡建设局）：

   • 对未依法办理施工许可手续进行建设的违法行为有管辖权，可以依法作出责令改正、停止施工及罚款等处罚决定。

此外，不同地区可能会根据实际情况对违建管理职责进行调整和明确，可能设立专门的违法建设整治办公室等机构来协调各部门工作。因此，在面对违建问题时，建议首先了解当地的具体管理规定和执法部门职责划分，以便向正确的部门咨询和反映问题。如果您有具体的违建问题或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供针对性的法律建议。