建筑工在工地外死亡，向谁索赔需根据具体情况来确定。以下是从不同角度进行的分析：
一、若死亡与工作直接相关
雇主责任：
- 如果建筑工在工地外因执行工作任务（如前往工地途中、因工作需要外出等）而死亡，且该死亡与工作有直接因果关系，那么根据《工伤保险条例》的相关规定，雇主（或用人单位）应当承担工伤保险责任。这意味着，家属可以向雇主提出工伤赔偿请求，包括丧葬补助金、供养亲属抚恤金和一次性工亡补助金等。
- 法律依据：《工伤保险条例》第十四条规定，职工在工作时间和工作场所内，因工作原因受到事故伤害的，应当认定为工伤。虽然该条款明确提到了“工作场所内”，但第十五条也规定了，职工在工作时间和工作岗位，突发疾病死亡或者在48小时之内经抢救无效死亡的，视同工伤。此外，如果职工因工外出期间，由于工作原因受到伤害或者发生事故下落不明的，也应当认定为工伤。
工伤保险基金：
- 如果雇主已经为建筑工购买了工伤保险，那么工伤保险基金将按照规定支付相应的工伤赔偿。家属需要向当地的社会保险行政部门提出工伤认定申请，并提交相关证据材料。
二、若死亡与工作无直接关系
第三方责任：
- 如果建筑工在工地外因第三方的原因（如交通事故、他人故意伤害等）而死亡，且该死亡与工作无直接因果关系，那么家属可以向第三方提出侵权损害赔偿请求。这需要根据具体的侵权行为和后果，依据《中华人民共和国民法典》中关于侵权责任的规定来主张权利。
- 法律依据：《中华人民共和国民法典》第一千一百六十五条规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。
自身责任：
- 如果建筑工在工地外因自身原因（如突发疾病、自杀等）而死亡，且该死亡与工作无直接因果关系，那么通常无法向雇主或第三方提出索赔请求。但如果是因工作劳累等原因间接导致的死亡，家属可以尝试与雇主协商，看是否能获得一定的人道主义补偿。不过，这种补偿并非法律义务，而是基于道德和人情考虑。
三、特殊情况下的索赔建议
- 如果建筑工与雇主之间存在劳动关系争议（如未签订劳动合同、未购买工伤保险等），家属可以先向当地劳动争议仲裁委员会申请仲裁，确认劳动关系并主张相应的工伤赔偿。
- 如果涉及多个责任主体（如雇主、第三方、保险公司等），家属可以根据具体情况，选择向一个或多个责任主体提出索赔请求。在这种情况下，建议家属咨询专业律师，以便更好地维护自身权益。
建议家属在发生此类事件后，及时收集相关证据材料（如现场照片、证人证言、医疗记录等），并尽快向当地的社会保险行政部门或劳动争议仲裁委员会提出申请或咨询。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。