建筑垃圾的管理涉及多个部门，各部门根据其法定职责共同参与，确保建筑垃圾从产生到消纳的全过程得到规范、有效的管理。具体来说：
规划与源头管理：城市规划部门在项目规划阶段预估建筑垃圾产生量，通过科学规划，合理布局建设项目，从源头上减少建筑垃圾的产生。住房和城乡建设部门则对建设单位和施工单位进行监管，督促其规范施工，减少建筑废弃物，并要求办理相关处置手续。
运输监管：交通运输部门负责审核建筑垃圾运输企业的资质，包括车辆运营许可和驾驶员从业资格。城市管理综合执法部门（城管部门）则侧重于运输过程中的实时监管，打击违法违规行为，如车辆沿途撒漏、随意倾倒等。
消纳处理：环境卫生主管部门统筹规划建筑垃圾的消纳场所，对建筑垃圾的收集、运输、消纳实施全程监督，推动建筑垃圾的分类处理、回收利用和安全填埋。
环境保护：环保部门密切关注建筑垃圾处理过程中的环境影响，如扬尘控制、废水处理等，确保建筑垃圾处理设施符合环保标准，防止环境污染。
因此，对于倒建筑垃圾的行为，具体归哪个部门管，需要根据实际情况来判断。如果是涉及建筑垃圾的运输和倾倒问题，可以联系城管部门；如果是涉及建筑垃圾的处理和消纳问题，可以联系环境卫生主管部门；如果是涉及建筑垃圾处理过程中的环境问题，可以联系环保部门。同时，各地区可能根据本地实际情况，在部门职责划分上有所调整，建议咨询当地相关部门，以获取最准确、最具针对性的解答和指导。