建筑垃圾违规处理的罚款上限因具体违法行为和地区法规而异，最高可达500万元人民币。具体分析如下：

1. 根据《中华人民共和国固体废物污染环境防治法》
   若单位未按规定分类、贮存、运输或利用处置建筑垃圾，或擅自倾倒、堆放、丢弃、遗撒建筑垃圾，由生态环境主管部门责令改正，处以10万元以上100万元以下罚款；情节严重的，可处100万元以上500万元以下罚款，并责令停业整治。

2. 根据《城市建筑垃圾管理规定》（建设部令第139号）

   • 施工单位未及时清运施工过程中产生的建筑垃圾，由城市人民政府市容环境卫生主管部门责令限期改正，给予警告，处5000元以上5万元以下罚款。
     
   • 施工单位将建筑垃圾交给个人或未经核准的单位处置，或处置单位超出核准范围处置建筑垃圾的，处1万元以上10万元以下罚款。
     
   • 擅自设立弃置场受纳建筑垃圾的，对单位处5000元以上1万元以下罚款，对个人处3000元以下罚款。

3. 地方性法规的补充规定
   部分地区（如北京、上海、深圳）可能制定更严格的地方性法规。例如：

   • 北京市规定，随意倾倒、抛撒或堆放建筑垃圾的，由城市管理综合执法部门责令限期改正，处10万元以上100万元以下罚款；情节严重的，处100万元以上500万元以下罚款。
     
   • 上海市规定，未取得建筑垃圾运输许可证从事运输的，由城管执法部门责令限期改正，处5000元以上3万元以下罚款。

建议：若涉及具体案件，需结合违法行为性质、后果及地方性法规综合判断。如有疑问，可直接向我咨询具体场景下的法律责任。