遇到违规盖房的情况，管理责任主要涉及以下几个部门：

1. 城乡规划主管部门：

• 依据《城乡规划法》的相关规定，对在城市规划区内未取得建设工程规划许可证或未按许可证规定进行建设的行为，有权责令停止建设，并可采取改正措施、限期改正并处罚款，或无法改正时限期拆除、没收实物/违法收入并处罚款。

2. 城市管理综合行政执法部门（城管部门）：

• 在很多城市，政府通过行政委托或授权，将查处违章建筑的部分行政处罚权交由该部门行使。城管部门有权对城市规划区内的违章建筑进行查处和整治。

3. 乡（镇）人民政府：

• 依据《城乡规划法》，在乡、村庄规划区内，对未依法取得乡村建设规划许可证或未按许可证规定进行建设的行为，有责任责令停止建设、限期改正；逾期不改正的，可以进行拆除。

4. 国土资源部门（土地行政主管部门）：

• 依据《土地管理法》，对非法占用土地进行建设的行为进行管理，责令退还非法占用的土地，限期拆除在非法占用的土地上新建的建筑物和其他设施，并恢复土地原状。

5. 水利部门：

• 依据《防洪法》和《河道管理条例》等，对在河道管理范围内建设的违章建筑，若影响行洪安全，有权责令停止违法行为，限期拆除违法建筑物，并恢复原状；逾期不拆除的，将强行拆除。

综上所述，违规盖房的管理涉及多个部门，具体由哪个部门管理需根据违规建筑的地点、性质及影响来确定。如果您发现或遭遇违规盖房的情况，可以向上述相关部门进行反映或举报。同时，也建议您在举报前尽可能收集相关证据，如照片、视频等，以便相关部门更好地进行调查和处理。