随便倒建筑垃圾，一般归城市人民政府市容环境卫生主管部门管理。以下是详细分析：
法律依据与责任单位
根据《城市建筑垃圾管理规定》（建设部令〔2005〕139号）第二十六条，任何单位和个人随意倾倒、抛撒或者堆放建筑垃圾的，由城市人民政府市容环境卫生主管部门责令限期改正，给予警告，并对单位处5000元以上5万元以下罚款，对个人处200元以下罚款。这一条款明确指出了管理随意倾倒建筑垃圾行为的责任单位是城市人民政府市容环境卫生主管部门。
实际案例与处罚
在实际操作中，各地城市管理执法部门都会对随意倾倒建筑垃圾的行为进行查处。例如，黄梅县城市管理执法局就曾严查偷倒乱倒行为，对违规倾倒建筑垃圾的商户进行了处罚。这些案例表明，城市管理执法部门在维护市容环境卫生方面发挥着重要作用，对随意倾倒建筑垃圾的行为会依法进行处罚。
建筑垃圾的正确处理方式
为了避免因随意倾倒建筑垃圾而受到处罚，建议单位和个人采取以下措施：
了解建筑垃圾的定义：建筑垃圾是指建设单位、施工单位新建、改建、扩建和拆除各类建筑物、构筑物、管网等以及居民装饰装修房屋过程中所产生的弃土、弃料及其它废弃物。了解这一点有助于正确识别和处理建筑垃圾。
选择合法的处理方式：建筑垃圾应运往指定的建筑垃圾消纳场进行处理。这些消纳场会对建筑垃圾进行资源化利用，如基础回填和资源化利用等，从而实现“变废为宝”。
遵守相关规定：在处理建筑垃圾时，应遵守相关规定，不得将建筑垃圾混入生活垃圾或危险废物中，也不得擅自设立弃置场受纳建筑垃圾。
举报与投诉
如果发现有人随意倾倒建筑垃圾，可以向城市管理部门举报投诉。各地城市管理部门都会设立举报电话，方便市民举报违规行为。通过举报投诉，可以共同维护市容环境卫生，营造良好的城市环境。
如有任何关于房产纠纷或建筑垃圾处理方面的法律问题，都可以直接向我咨询。我会根据你的具体情况，提供专业的法律建议和帮助。