您好，关于您咨询的修建高速公路遗留的残渣是否算建筑垃圾，以及如何处理这些建筑垃圾的问题，我可以为您详细解答。
首先，修建高速公路遗留的残渣确实属于建筑垃圾的范畴。建筑垃圾是指建设单位、施工单位在新建、改建、扩建和拆除各类建筑物、构筑物、管网等过程中，以及居民装饰装修房屋过程中所产生的弃土、弃料及其他废弃物。这些残渣，包括弃土、弃石、混凝土块等，都是建设过程中产生的废弃物，因此被归类为建筑垃圾。
接下来，关于如何处理这些建筑垃圾，我建议您采取以下几种方式：
资源化利用：建筑垃圾中的许多成分，如混凝土、砖块等，都可以经过破碎、筛分等工艺处理后，作为再生骨料用于制作新的建筑材料，如再生混凝土、再生砖等。这种方式既减少了垃圾的产生，又实现了资源的循环利用。
工程回填：对于一些适合回填的建筑垃圾，如工程渣土，可以用于工程自身或者运输至其他工程用于基坑回填、低洼填平、堆山造景、绿地覆土等。这种方式既解决了垃圾的处理问题，又为工程建设提供了便利。
合规处置：如果建筑垃圾无法进行资源化利用或工程回填，那么应该选择合规的处置方式，如运输至指定的建筑垃圾消纳场进行填埋处理。在运输过程中，必须采取密闭或者其他措施防止物料遗撒，以避免对环境造成污染。
同时，我也需要提醒您，违规运输和处置建筑垃圾是会受到处罚的。根据相关法律法规，未采取密闭或者其他措施防止物料遗撒运输建筑垃圾的，或者随意倾倒、抛撒或者堆放建筑垃圾的，都会面临罚款等处罚措施。因此，在处理建筑垃圾时，请务必遵守相关法律法规，选择合规的处置方式。
希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的帮助，请随时告诉我。