违法建筑的管理部门主要依据违法建筑所处的区域、性质及当地政府的机构设置和职能划分来确定，主要包括城乡规划主管部门、乡（镇）人民政府、城市管理综合行政执法部门以及土地行政主管部门。以下是对这些部门的详细解析：

1. 城乡规划主管部门

   • 适用范围：主要负责城市、镇规划区内违反城乡规划的违法建筑监管。若在城市和镇的规划建设活动中，未取得建设工程规划许可证或未按其规定进行建设，即属于违法建设行为。
   • 具体职责：根据《中华人民共和国城乡规划法》第六十四条，县级以上地方人民政府城乡规划主管部门有权责令停止建设，并根据情况采取限期改正、罚款、限期拆除或没收实物等处罚措施。

2. 乡（镇）人民政府

   • 适用范围：在乡、村庄规划区内，若未依法取得乡村建设规划许可证或未按其规定进行建设，由乡（镇）人民政府负责监管和查处。
   • 具体职责：依据《中华人民共和国城乡规划法》第六十五条，乡（镇）人民政府有权责令停止建设、限期改正，逾期不改正的，可以拆除。

3. 城市管理综合行政执法部门

   • 适用范围：在很多地方，城市管理综合行政执法部门通过相对集中行政处罚权等方式，被赋予了对城市规划区内部分违章建筑的查处权。其具体执法范围由各地根据实际情况通过地方性法规、规章确定。
   • 具体职责：负责城市管理的综合执法工作，包括对违法建设的巡查、制止和处罚。例如，依据《中华人民共和国行政处罚法》等相关法律规定，各地制定具体的地方性法规和规章，如某些城市的《城市管理综合行政执法条例》，明确了城管部门在查处违章建筑方面的职责和权限。

4. 土地行政主管部门

   • 适用范围：负责监管违反土地管理法律法规，非法占用土地进行建设的行为。例如，未经批准或采取欺骗手段骗取批准，非法占用土地进行建设。
   • 具体职责：根据《中华人民共和国土地管理法》第七十七条，土地行政主管部门（通常是自然资源主管部门）有权责令退还非法占用的土地，限期拆除或没收建筑物，并可处罚款，对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予处分，构成犯罪的，依法追究刑事责任。

实际操作建议：

• 若发现违法建筑，建议首先向当地的城乡规划主管部门或乡（镇）人民政府举报。
• 同时，也可咨询当地城市管理部门或土地行政主管部门以获取更具体的指导。
• 在举报时，应尽可能提供详细的违法建筑信息，如位置、性质、建设情况等，以便相关部门能够迅速准确地进行查处。

违法建筑的管理涉及多个部门，各部门之间需加强沟通与协作，形成合力，以确保执法的全面性和有效性。对于公众而言，在修建建筑物前，务必了解并遵守相关法律法规，以免因违法建设而面临不必要的法律后果。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。