违规搭建的管理部门主要取决于搭建的具体位置和性质，一般来说，主要由城市管理部门（或综合行政执法部门）以及规划部门负责管理。以下从不同角度进行详细分析：
城市管理部门（或综合行政执法部门）：
- 管理范围：城市管理部门通常负责城市市容市貌、环境卫生、城市规划实施等方面的管理工作。对于违规搭建，特别是那些影响市容市貌、占用公共空间或违反城市规划的搭建行为，城市管理部门有权进行查处。
- 法律依据：根据《城市市容和环境卫生管理条例》等相关法律法规，城市管理部门可以对违规搭建进行责令限期拆除、罚款等行政处罚。
规划部门：
- 管理范围：规划部门主要负责城市规划的编制、审批和实施监督工作。对于违反城市规划的搭建行为，规划部门有权进行认定和处理。
- 法律依据：根据《城乡规划法》等相关法律法规，规划部门可以对违反规划的搭建行为进行责令停止建设、限期改正、罚款、没收违法所得或没收实物等行政处罚。在严重情况下，还可以申请人民法院强制执行。
特殊情况下的管理部门：
- 住宅小区内：如果违规搭建发生在住宅小区内，且涉及物业管理区域，那么物业公司也可能在管理范围内。物业公司有权对违规搭建行为进行劝阻、制止，并及时向相关部门报告。
- 特定区域：对于某些特定区域，如历史文化街区、风景名胜区等，可能还有专门的管理机构或规定，对违规搭建行为进行特殊管理。
法律建议：
- 如果您发现违规搭建行为，首先可以向城市管理部门或规划部门进行举报，提供相关证据和信息，以便相关部门及时进行查处。
- 如果您是违规搭建的当事人，建议您尽快自行拆除违规搭建，以避免面临更严重的法律后果。如果您对拆除有困难或疑问，可以咨询相关部门或专业律师，寻求帮助和指导。
可能后果：
- 对于违规搭建的当事人，如果拒不拆除或整改，可能会面临罚款、没收违法所得或没收实物等行政处罚。在严重情况下，还可能被申请人民法院强制执行，甚至承担刑事责任（如果违规搭建行为构成犯罪的话）。
总之，违规搭建的管理部门是多方面的，具体取决于搭建的位置和性质。如果您遇到相关问题或需要进一步的法律帮助，请直接向我咨询。