随意倾倒建筑垃圾是违法行为。具体解释如下：
行政法规层面的规定：
- 根据《城市建筑垃圾管理规定》，任何单位和个人不得随意倾倒、抛撒或者堆放建筑垃圾。违反此规定，城市人民政府市容环境卫生主管部门将责令限期改正，并给予警告。同时，对单位将处以罚款，对个人也将处以罚款。
地方性法规的补充：
- 各地还根据自身实际情况制定了关于建筑垃圾管理的相关条例，如《北京市建筑垃圾处置管理规定》等。这些条例进一步细化了建筑垃圾的管理要求，并设定了相应的处罚措施。因此，在处理建筑垃圾时，还需遵循当地的具体规定。
环境保护法律的约束：
- 《中华人民共和国固体废物污染环境防治法》将建筑垃圾纳入固体废物的范畴，并要求产生工业固体废物的单位建立健全污染环境防治责任制度。随意倾倒建筑垃圾违反了这一法律规定，生态环境主管部门有权对此进行查处。
可能的法律后果：
- 行政责任：包括警告、罚款、责令清理等。
- 刑事责任：如果倾倒地点属于农用地，可能涉嫌非法占用农用地罪；如果建筑垃圾混有有毒有害物质，造成严重污染的，可能涉嫌污染环境罪。
- 民事侵权责任：需承担赔偿责任或按要求恢复生态受损地块的生态环境等。
综上所述，随意倾倒建筑垃圾是严重的违法行为，将面临严格的法律处罚。为避免不必要的法律风险和经济损失，建议单位和个人在处理建筑垃圾时务必遵循相关法律法规，选择合法的倾倒地点或委托专业的建筑垃圾处理机构进行处理。如有任何关于建筑垃圾处理的问题或需要进一步的法律咨询，请直接向我提问。