违规搭建的管理部门主要取决于搭建的具体位置和性质，但一般来说，主要由城市管理部门（或综合行政执法部门）以及城乡规划主管部门负责管理。以下是对此问题的详细分析：
城市管理部门（或综合行政执法部门）：
- 在大多数城市中，城市管理部门或综合行政执法部门是负责处理违规搭建的主要机构。他们负责巡查城市区域，发现并处理未经批准的搭建行为，包括但不限于在公共区域、道路两侧、绿化带等地方的违规搭建。
- 这些部门有权对违规搭建进行查处，包括责令停止建设、限期拆除、罚款等行政处罚措施。
城乡规划主管部门：
- 对于涉及城乡规划的违规搭建，如未经批准在住宅小区内搭建建筑物、构筑物等，城乡规划主管部门也负有管理责任。
- 他们负责审核和批准建筑物的规划和建设，对于违反规划要求的搭建行为，有权进行查处和纠正。
特殊情况说明：
- 如果违规搭建发生在特定区域，如历史文化街区、风景名胜区等，可能还需要相关管理部门（如文物管理部门、旅游管理部门等）的参与和配合。
- 在某些情况下，如果违规搭建涉及安全隐患或影响公共安全，消防部门、安全生产监督管理部门等也可能介入处理。
法律建议：
- 如果您发现身边有违规搭建行为，可以先向城市管理部门或综合行政执法部门举报，他们通常会派员进行现场勘查和处理。
- 如果违规搭建行为涉及城乡规划问题，您也可以向城乡规划主管部门反映情况，寻求他们的帮助和支持。
- 在处理违规搭建问题时，请务必保留好相关证据，如照片、视频等，以便在需要时提供给管理部门作为查处依据。
可能后果：
- 违规搭建者可能面临责令停止建设、限期拆除、罚款等行政处罚。
- 如果违规搭建行为严重影响到公共安全或他人合法权益，还可能承担民事赔偿责任或刑事责任。
如果您在处理违规搭建问题时遇到任何法律难题或需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况，提供专业的法律意见和解决方案。