针对“非法倾倒建筑垃圾由谁处罚”的问题，以下是我的详细解答：

非法倾倒建筑垃圾的处罚主体及责任主要包括以下几个方面：

1. 行政管理部门的处罚：

   • 单位或个人随意倾倒、抛撒或者堆放建筑垃圾的，由城市管理综合执法部门责令限期改正，并给予警告。对于个人，将处以200元以下罚款；对于单位，将处以10万元以上100万元以下罚款。若该行为造成严重后果但尚不构成犯罪的，公安机关可依照《中华人民共和国固体废物污染环境防治法》对法定代表人、直接负责的主管人员和其他责任人员处以拘留。
   • 未经许可擅自设置建筑垃圾消纳场所的，城市管理综合执法部门将责令限期清除建筑垃圾及相关设施设备，并恢复场地原状。对单位将处以5000元以上1万元以下罚款，对个人将处以3000元以下罚款。若有违法所得，将没收违法所得；若接收、消纳建筑垃圾导致污染环境、破坏生态的，将处以10万元以上100万元以下罚款。

2. 刑事责任：

   • 如果倾倒地点属于农用地，且行为导致农用地大量毁坏，则可能涉嫌非法占用农用地罪，根据《中华人民共和国刑法》的相关规定，将处五年以下有期徒刑或者拘役，并处或者单处罚金。
   • 如果建筑垃圾中混有有毒有害物质，对周围土壤环境、空气环境和地下水资源等造成严重污染的，可能涉嫌污染环境罪，也将会被依法追究刑事责任。

3. 民事侵权责任：

   • 非法倾倒建筑垃圾的行为人还需承担民事侵权责任，包括赔偿责任或按要求恢复生态受损地块的生态环境等。行政机关将依法启动生态环境损害赔偿程序，要求行为人承担相应的民事责任。若生态环境部门办理生态环境损害赔偿案件有困难，可将相关线索移送同级检察机关，通过民事公益诉讼或刑事附带民事公益诉讼追究行为人的生态破坏和环境污染民事责任。

综上所述，非法倾倒建筑垃圾将面临行政管理部门的行政处罚、可能的刑事责任以及民事侵权责任。因此，建议相关单位和个人严格遵守相关法律法规，依法规范处置建筑垃圾，避免不必要的法律责任。