违规拆墙的管理部门主要取决于拆墙的具体性质和所在区域，但一般来说，涉及房屋结构安全的违规拆墙行为主要由住房和城乡建设部门、城市管理综合执法部门以及物业管理部门进行监管和处理。以下是对这一问题的详细分析：
住房和城乡建设部门（或城乡建设管理部门、住房城乡建设主管部门）：
- 作为建筑工程活动的主要监管部门，住房和城乡建设部门对房屋使用过程中的结构安全维护负有重要责任。
- 如果拆墙行为严重影响了建筑结构安全，如私自拆除承重墙，那么这一行为就违反了建设工程相关法规和建筑安全规范。
- 住房和城乡建设部门有权依法查处此类行为，要求责任人停止违法行为、恢复原状，并给予相应的行政处罚。
城市管理综合执法部门：
- 在很多地区，城市管理综合执法部门也承担对影响城市容貌、违反城市管理秩序行为的执法职责。
- 如果拆墙行为破坏了房屋外观及结构，影响了公共安全和城市秩序，那么这一行为就属于城市管理综合执法部门的监管范围。
- 该部门有权依据相关城市管理法规介入调查和处理，包括采取行政强制措施。
物业管理部门：
- 虽然物业管理公司本身不是行政部门，但对小区内房屋使用和维护有监督管理职责。
- 如果发现业主有违规拆墙行为，物业管理部门有义务及时制止，并向相关行政管理部门报告，配合后续的调查处理工作。
特殊情况说明：
- 如果拆墙行为发生在乡、村庄规划区内，且未依法取得乡村建设规划许可证或未按许可证规定进行建设，那么这一行为可能由乡镇人民政府进行管理和处置。
- 如果拆墙行为涉及非法占用土地，如未经批准或骗取批准非法占用土地进行拆墙建设，那么这一行为可能由土地管理部门进行查处。
法律后果与建议：
- 违规拆墙行为可能面临责令停止建设、限期改正、罚款、限期拆除或没收实物及违法收入等行政处罚。
- 如果拆墙行为对他人的人身财产造成危害，受害者还可以向法院起诉对方，要求排除妨碍并赔偿损失。
- 建议在进行任何拆墙行为前，务必了解并遵守相关法律法规和规定，确保不损害房屋结构安全和公共安全。如果遇到违规拆墙行为，可以向当地的住房和城乡建设部门、城市管理综合执法部门或物业管理部门进行投诉和举报。
举例说明：
- 假设某小区业主未经许可私自拆除了承重墙，这一行为就严重影响了建筑结构安全。此时，物业管理部门发现后应及时制止，并向住房和城乡建设部门报告。住房和城乡建设部门将依法查处该行为，要求业主停止违法行为、恢复原状，并可能给予罚款等行政处罚。
总之，违规拆墙行为的管理涉及多个部门，具体由哪个部门负责取决于拆墙的具体性质和所在区域。在进行任何拆墙行为前，请务必了解并遵守相关法律法规和规定。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。