在建筑垃圾处罚的问题上，责任归属需根据具体情况来判断，一般来说，可能是施工方，也可能是建设单位，或者双方共同承担责任。以下是从不同角度进行的分析：
施工方责任：
- 直接产生者：施工方作为建筑垃圾的直接产生者，在施工过程中若未按照相关规定妥善处理建筑垃圾，如随意倾倒、堆放等，那么施工方应当承担相应的法律责任。
- 合同约定：如果施工合同中明确规定了施工方在建筑垃圾处理方面的责任和义务，那么施工方未履行这些义务时，自然应当接受处罚。
建设单位责任：
- 监管责任：建设单位作为工程项目的业主，对施工现场的环境保护和垃圾处理负有监管责任。如果建设单位未能有效监督施工方处理建筑垃圾，或者未提供必要的处理条件和设施，那么建设单位也可能因监管不力而承担责任。
- 合同约定与法律规定：在某些情况下，即使合同中没有明确规定，但根据相关法律法规，建设单位也可能需要对建筑垃圾的处理承担一定责任。例如，如果建设单位未按照规定办理建筑垃圾处置许可手续，或者未委托有资质的单位进行建筑垃圾处理，那么建设单位就可能面临处罚。
双方共同责任：
- 共同违规：在某些情况下，施工方和建设单位可能共同违反了关于建筑垃圾处理的规定。例如，双方共同决定将建筑垃圾倾倒在非指定地点，或者共同未履行建筑垃圾处理的相关义务。在这种情况下，双方都应当承担相应的法律责任。
法律建议：
- 明确合同条款：在签订施工合同时，双方应明确各自在建筑垃圾处理方面的责任和义务，以避免后续纠纷。
- 遵守法律法规：无论是施工方还是建设单位，都应严格遵守关于建筑垃圾处理的相关法律法规，确保建筑垃圾得到妥善处理。
- 加强监管与沟通：建设单位应加强对施工方的监管，确保施工方按照合同和法律法规的要求处理建筑垃圾。同时，双方应保持沟通，及时解决建筑垃圾处理过程中出现的问题。
可能的法律后果：
- 如果施工方或建设单位因建筑垃圾处理不当而面临处罚，可能包括罚款、责令整改、停工整顿等。在严重情况下，还可能涉及刑事责任。
如有更多关于建设工程领域的法律问题，可以直接向我咨询。