工地垃圾的处理责任属于建设单位和施工单位，同时涉及多个政府部门的监管。
详细分析如下：
处理责任：
- 根据《城市建筑垃圾管理规定》的相关规定，建筑垃圾的产生者，即建设单位和施工单位，承担建筑垃圾处置的责任。这包括及时清运工程施工过程中产生的建筑垃圾，并按照城市人民政府市容环境卫生主管部门的规定进行处置，防止污染环境。
政府部门监管：
- 住房和城乡建设部门：对建设单位和施工单位进行严格监管，督促其规范施工，减少不必要的建筑废弃物，并要求办理相关处置手续，确保建筑垃圾的合规处理。
- 交通运输部门：负责审核建筑垃圾运输企业的资质，确保运输队伍的专业性和安全性。
- 城市管理综合执法部门（城管部门）：侧重于运输过程中的实时监管，严厉打击车辆沿途撒漏、随意倾倒等违法违规行为。
- 环境卫生主管部门：统筹规划建筑垃圾的消纳场所，对建筑垃圾的收集、运输、消纳实施全程监督，并推动建筑垃圾的分类处理、回收利用和安全填埋。
- 环保部门：密切关注建筑垃圾处理过程中的环境影响，通过审批和监管建筑垃圾处理设施，确保其符合环保标准。
综上所述，工地垃圾的处理责任主要由建设单位和施工单位承担，同时受到多个政府部门的监管。这些部门各司其职，共同构建起一个全面而细致的监管网络，确保建筑垃圾从产生到消纳的全过程得到规范、有效的管理。我建议建设单位和施工单位应严格遵守相关法律法规，规范处置建筑垃圾，避免造成环境污染和法律责任。如有进一步需要，您可以继续咨询我。