结论：甲乙双方签订建房协议后，如果双方都去世，协议的效力问题需根据协议的性质、内容以及是否存在特殊约定等多方面因素综合判断，不能一概而论。以下从不同角度进行分析：
协议通常继续有效的情形
财产性质的建房协议：
- 建房协议若主要涉及财产权益的转移和交易，如一方提供土地，另一方负责建设并交付房屋，这种协议通常具有财产性质。根据《中华人民共和国民法典》的相关规定，依法成立的合同对当事人具有法律约束力，这种约束力不因一方当事人的死亡而自然终止。因此，在双方都去世的情况下，其继承人会继承相应的财产权益和合同义务，协议通常继续有效，继承人需继续履行协议中的义务，如完成建设、交付房屋或支付款项等。
协议中有明确继承条款：
- 如果建房协议中明确约定了在一方或双方去世的情况下，协议由其继承人继续履行，或者约定了继承的具体方式和条件，那么应按照协议中的约定处理。这种情况下，协议在双方去世后仍然有效，继承人需按照约定承担相应的权利和义务。
协议可能失效或终止的情形
具有人身属性的建房协议：
- 如果建房协议的履行依赖于甲乙双方特定的人身技能、经验或身份等，如甲方是特定的建筑设计师，其设计具有不可替代性，一旦去世，协议可能因无法继续履行而失效。这种情况下，协议的目的无法实现，继承人可能无法继续履行协议中的义务。
协议有特殊约定：
- 如果建房协议中明确约定了在一方或双方去世的情况下，协议自动解除或失效，那么应按照该约定处理。例如，协议中可能规定，若甲方或乙方去世，协议即刻终止，双方互不承担违约责任。
法律规定或情势变更：
- 在某些特殊情况下，法律可能明确规定合同因一方当事人死亡而终止。或者，因甲乙双方都去世导致继续履行协议显失公平，符合情势变更的情形时，继承人可以请求人民法院或仲裁机构变更或解除协议。
综合建议
- 审查协议内容：首先，应仔细审查建房协议的具体内容，特别是关于协议效力、继承和终止等方面的条款，以确定协议在双方去世后的效力问题。
- 咨询专业意见：如果协议内容复杂或存在争议，建议继承人咨询专业律师，以获取更准确的法律意见和指导。律师可以根据协议的具体情况和相关法律法规，为继承人提供针对性的法律建议。
- 协商处理：在可能的情况下，继承人之间可以协商处理协议的相关事宜，如继续履行、变更或解除协议等。通过协商，可以达成共识并避免不必要的法律纠纷。
总之，甲乙双方签订建房协议后，如果双方都去世，协议的效力问题需根据具体情况进行判断。继承人应仔细审查协议内容，咨询专业意见，并在可能的情况下协商处理相关事宜。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。