违法搭建的管理涉及多个部门，具体由哪个部门负责取决于违法搭建的具体情况和所在区域。以下是从不同角度对这一问题的详细分析：

1. 城乡规划部门

   • 主要职责：城乡规划部门是违法搭建管理的主要责任部门，负责城市、镇规划区内建筑物、构筑物等工程建设的规划许可和管理工作。
   • 适用情况：对于违反土地利用总体规划和城乡规划的建设行为，如未经规划许可擅自搭建的房屋、改变建筑物外立面等，城乡规划部门有权进行认定和处理。例如，在城市市区内，开发商擅自改变建设工程规划许可证规定的建筑层数和面积进行建设，即由城乡规划部门进行监管和查处。
   • 法律依据：《中华人民共和国城乡规划法》第六十四条规定，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。

2. 乡镇人民政府

   • 主要职责：在乡、村庄规划区内，乡镇人民政府负责违法搭建的管理工作。
   • 适用情况：对于未依法取得乡村建设规划许可证或未按许可证规定进行建设的行为，如村民在村庄规划区内未取得乡村建设规划许可证就自行建设住宅，乡镇人民政府有权管理和处理。
   • 法律依据：《中华人民共和国城乡规划法》第六十五条规定，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。

3. 城市管理综合行政执法部门

   • 主要职责：部分城市通过地方立法或行政授权，将原本由规划部门行使的对违法建筑的行政处罚权等职能集中交由该部门行使。
   • 适用情况：在城市建成区内，城市管理综合行政执法部门是处理违法搭建问题的主要执法力量。例如，街边商户私自搭建的遮阳棚、违法扩建的经营用房等，这些行为影响城市容貌、环境卫生和公共秩序，通常由城管部门进行查处和拆除。
   • 法律依据：《中华人民共和国行政处罚法》允许国务院或经其授权的省、自治区、直辖市人民政府决定一个行政机关行使有关行政机关的行政处罚权。

4. 土地管理部门

   • 主要职责：土地管理部门负责查处涉及土地使用方面的违法搭建行为。
   • 适用情况：如未经批准在农用地上建设非农业设施、非法占用耕地建房等行为，土地管理部门有权责令退还非法占用的土地，并限期拆除在非法占用的土地上新建的建筑物和其他设施。例如，企业未经土地管理部门批准擅自占用农用地建设厂房，即属土地管理部门查处范围。
   • 法律依据：《中华人民共和国土地管理法》第七十七条规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款。

建议：

• 如果您发现了违法搭建行为，或者您的权益受到了违法搭建行为的影响，建议首先向当地城乡规划主管部门或城市管理部门咨询，以获取最准确、最权威的指导和帮助。
• 在处理违法搭建问题时，务必保留好相关证据，如照片、视频、书面材料等，以便在需要时向相关部门提供证明。
• 如果违法搭建行为严重侵犯了您的合法权益，您还可以考虑通过法律途径维护自己的权益，如向法院提起民事诉讼等。

希望以上分析能对您有所帮助。如果您还有其他问题或需要进一步的法律咨询，请随时向我提问。