倾倒建筑垃圾主要由城市管理综合执法部门（城管部门）以及环境卫生主管部门负责管理，具体处罚依据及措施如下：
一、主要管理部门
城市管理综合执法部门（城管部门）：
- 在建筑垃圾的管理体系中，城管部门扮演着重要角色，特别是在运输过程中的实时监管方面。他们负责严厉打击车辆沿途撒漏、随意倾倒等违法违规行为，以维护城市环境的整洁和秩序。
环境卫生主管部门：
- 环境卫生主管部门则统筹规划建筑垃圾的消纳场所，对建筑垃圾的收集、运输、消纳实施全程监督。他们推动建筑垃圾的分类处理、回收利用和安全填埋，以实现资源循环利用和环境保护的双赢。
二、处罚依据及措施
《城市建筑垃圾管理规定》：
- 处罚对象：任何单位和个人。
- 禁止行为：不得随意倾倒、抛撒或者堆放建筑垃圾。
- 处罚措施：
- 对于单位：责令限期改正，给予警告，并处1万元以上10万元以下罚款（针对施工单位）；或处5000元以上3万元以下罚款（针对建设单位和运输建筑垃圾的单位）。
- 对于个人：责令限期改正，给予警告，并处200元以下罚款。
《中华人民共和国固体废物污染环境防治法》：
- 处罚对象：涉及建筑垃圾等固体废物处理的单位和个人。
- 禁止行为：随意倾倒、抛撒或者堆放建筑垃圾等固体废物。
- 处罚措施：
- 情节较轻的，处以罚款并没收违法所得。
- 情节严重的，可能面临更严厉的行政处罚，甚至刑事责任。
《中华人民共和国治安管理处罚法》（如倾倒行为扰乱公共秩序等）：
- 处罚对象：倾倒建筑垃圾等行为扰乱了公共秩序、妨害了公共安全或侵犯了他人的合法权益的单位和个人。
- 处罚措施：
- 情节较轻的，可能面临警告或二百元以下罚款。
- 情节较重的，将处五日以上十日以下拘留，并可并处五百元以下罚款。
- 情节特别严重的，将处十日以上十五日以下拘留，并可并处一千元以下罚款。
三、特殊情形下的处罚
故意损毁公私财物：
- 在倾倒建筑垃圾过程中，若故意损坏公私财物，如将建筑垃圾倾倒在他人店铺门前导致设施损坏，将依据《治安管理处罚法》的相关规定进行处罚，可能面临五日以上十日以下拘留，并可并处五百元以下罚款；情节较重的，处罚更重。
阻碍执行职务：
- 当执法人员对倾倒建筑垃圾行为进行查处时，若当事人以暴力、威胁等方法阻碍执法，将依据《治安管理处罚法》的相关规定进行处罚，可能面临警告或二百元以下罚款；情节严重的，将处五日以上十日以下拘留，并可并处五百元以下罚款。阻碍人民警察依法执行职务的，还将从重处罚。
四、法律建议
为避免不必要的法律风险和经济损失，建议单位和个人在处理建筑垃圾时务必遵循相关法律法规，选择合法的倾倒地点或委托专业的建筑垃圾处理机构进行处理。同时，各地区可能根据本地实际情况，在部门职责划分上有所调整，但总体原则不变，即多部门协作，共同推进建筑垃圾管理的规范化、法制化。
如有任何疑问或需要进一步的法律帮助，请随时向我咨询。