违建的管理确实通常归城管（城市管理综合行政执法部门）管，但具体还需根据违建的类型、地点以及所在地的法律法规来确定。以下是从不同角度对违建管理部门的详细分析：

1. 城市管理综合行政执法部门（城管）：

   • 在城市规划区内，城管是查处和拆除违建的主要执行部门。他们依据相关法律法规，对违法建设行为进行监督检查，有权责令停止建设、限期拆除违法建筑，并可在逾期不拆除时依法强制拆除。例如，街边商户私自搭建的遮阳棚、违法扩建的经营用房等，通常由城管部门负责查处。

2. 城乡规划主管部门：

   • 城乡规划部门负责城市、镇规划区内建筑物、构筑物等工程建设的规划许可和管理工作。对于未取得建设工程规划许可证或未按许可证规定进行建设的违建，城乡规划部门有权责令停止建设，并采取改正措施、拆除、没收实物或违法收入等处罚。在大型违建项目影响城市规划布局、不符合规划要求的情况下，城乡规划部门起关键作用。

3. 乡镇人民政府：

   • 在乡、村庄规划区内，乡镇人民政府负责乡村建设规划管理工作，对违建进行查处和管理。对于农村村民未经审批在宅基地以外乱搭乱建、在耕地上违规建设等行为，乡镇人民政府有权责令停止建设、限期改正；逾期不改正的，可以拆除。

4. 土地管理部门：

   • 土地管理部门负责查处涉及土地使用方面的违建，如未经批准在农用地上建设非农业设施、非法占用耕地建房等行为。对于这类违规行为，土地管理部门有权责令退还非法占用的土地，并限期拆除在非法占用的土地上新建的建筑物和其他设施。

5. 其他相关部门：

   • 根据违建的具体情况和地点，还可能涉及其他特定部门的管理。例如，河道管理范围内的违法建设由水行政主管部门负责；铁路线路安全保护区内的违建由铁路管理部门协同处理。

法律建议：

• 如果您发现违建或自己的建筑被认定为违建，首先应确认违建的具体情况和所在地的法律法规，以确定具体的管理部门。
• 在与相关部门沟通时，保持冷静和理性，了解违建的认定依据和处罚措施，并积极配合整改或拆除工作。
• 如果您对违建的认定或处罚有异议，可以依法提起诉讼或申请复议，维护自己的合法权益。

可能后果：

• 如果违建被认定并责令拆除，而您未在规定期限内自行拆除，相关部门有权依法强制拆除，并可能要求您承担拆除费用。
• 如果违建行为严重，还可能面临罚款、没收违法所得等处罚，甚至可能影响您的信用记录和未来的建设活动。

总之，违建的管理涉及多个部门，各部门根据其职能依据和管理范围承担相应的管理职责。如果您有关于违建的具体问题或需要进一步的法律帮助，请直接向我咨询。