对于没有抓住建筑垃圾违法主体的情况，通常应由产生建筑垃圾的建设单位或者施工单位负责清理。以下是从不同角度的详细分析：
建设单位或施工单位的责任：
- 根据相关法律法规及实践，建设单位或施工单位在工程建设过程中产生的建筑垃圾，有责任进行清理。这是基于“谁产生、谁清理”的原则，确保建筑垃圾得到及时、有效的处理，防止对环境造成污染。
- 如果建设单位或施工单位未能及时清理建筑垃圾，可能会面临行政处罚，包括但不限于罚款、责令限期改正等。在严重情况下，还可能承担刑事责任，如因建筑垃圾处理不当导致环境污染事故等。
特殊情况下的责任归属：
- 如果建筑垃圾的产生与第三方（如分包商、供应商等）有关，且建设单位或施工单位能够证明已尽到合理的管理和监督责任，那么在某些情况下，责任可能会部分或全部转移至第三方。但这需要具体的证据支持，并且通常需要通过法律程序来确定。
- 在某些特殊情况下，如自然灾害、突发事件等导致建筑垃圾无法及时清理的，相关责任可能会根据具体情况进行减免或分担。但这需要政府或相关部门的明确指示或决定。
实际操作中的建议：
- 对于建设单位或施工单位来说，应建立健全的建筑垃圾管理制度，明确责任分工，确保建筑垃圾得到及时清理。同时，应加强与政府、环保部门等的沟通与合作，共同推动建筑垃圾的有效处理。
- 如果确实无法确定建筑垃圾的违法主体，或者违法主体逃避责任，建设单位或施工单位可以主动向政府或相关部门报告，并寻求帮助和支持。政府或相关部门可能会根据实际情况，协调各方资源，共同解决建筑垃圾清理问题。
法律后果的考量：
- 如果建设单位或施工单位未能履行清理建筑垃圾的责任，除了可能面临的行政处罚外，还可能对周边环境造成污染，影响居民生活质量和健康。此外，还可能引发社会舆论的谴责和负面评价，对企业的声誉和形象造成损害。
总结来说，对于没有抓住建筑垃圾违法主体的情况，建设单位或施工单位通常应承担清理责任。在实际操作中，应建立健全的管理制度，加强与政府、环保部门等的沟通与合作，共同推动建筑垃圾的有效处理。如果遇到特殊情况或无法确定责任主体时，应及时向政府或相关部门报告并寻求帮助。如有任何疑问或需要进一步的法律建议，请直接向我咨询。