违法建设的管理部门并非唯一，而是根据违建的具体情况和所在地的行政管理体系来确定，主要包括以下几个部门：
城市管理综合行政执法部门（城管部门）：
- 在多数城市，城管部门是查处违法建设的主要力量。他们负责监督检查和处罚城市规划区内违反规划管理规定的行为，如未取得建设工程规划许可证或未按许可证规定进行建设等。城管部门有权采取拆除违法建筑等措施，以维护城市规划和建设的秩序。
城乡规划主管部门：
- 城乡规划主管部门依据《中华人民共和国城乡规划法》负责城乡规划的编制、审批和实施监督。对于违反城乡规划的建设行为，城乡规划主管部门有权认定违建性质，并根据情况作出责令停止建设、限期改正、罚款、限期拆除等处理决定。若违建尚可采取改正措施消除影响，将限期改正并处以罚款；若无法改正，则限期拆除或没收实物及违法收入，并可并处罚款。
乡镇人民政府：
- 在乡、村庄规划区内，乡镇人民政府是管理违法建设的主要责任主体。对于未经审批擅自建房等违法建设情况，乡镇人民政府有权进行调查处理，制止违法建设行为，并依法作出相应处罚，包括责令停止建设、限期改正及拆除等。
土地行政主管部门（自然资源主管部门）：
- 县级以上地方人民政府土地行政主管部门（自然资源主管部门）对违法占地建设行为具有管辖权。这意味着，如果违法建设涉及到非法占用土地，土地行政主管部门将介入调查并依法处理，包括责令退还非法占用的土地，并依法进行处罚。
住房和城乡建设部门：
- 工程所在地县级以上人民政府建设行政主管部门（住房和城乡建设部门）负责监管建筑施工活动。对于未依法办理施工许可手续而进行建设的违法行为，住房和城乡建设部门有权责令改正、停止施工及处以罚款等。
在实际操作中，违法建设的管理是一个多部门协作的过程。具体由哪个部门管理取决于违建的具体情况和所在地的行政管理体系。例如，在查处城市规划区内的违建时，城乡规划主管部门可能需与自然资源主管部门、城市管理综合执法部门等共同行动，以确保执法的全面性和有效性。同时，乡镇人民政府在处理乡村规划区内的违建时，也应与农业农村部门保持密切联系，确保宅基地管理的规范性。
面对违法建设问题，建议您：
- 首先明确违建的类型、所处位置及具体情形，以确定相应的管理部门和法律依据。
- 然后，通过与相关部门的沟通与合作，依法依规进行查处。在沟通过程中，保持冷静和理性，提供准确的违建信息和证据，以便相关部门能够迅速、有效地处理。
- 同时，也建议您政府部门加强宣传与教育，提高公众对规划、土地管理等法律法规的认识，从源头上减少违建的发生。
最后，如果您在修建建筑物前，务必了解并遵守相关法律法规，以免因违法建设而面临不必要的法律后果。如果您在处理违法建设问题时遇到任何疑问或需要进一步的法律帮助，请随时向我咨询。