工作时意外死亡的责任归属需根据具体情况判断，可能涉及劳动关系下的工伤责任、劳务关系下的雇主责任、第三方的侵权责任以及工地安全管理问题导致的多方责任。以下是对这些情形的详细分析：
一、劳动关系下的工伤责任
工伤认定：
- 如果死者与用人单位存在劳动关系，且在工作时间和工作场所内因工作原因受到事故伤害死亡，或从事与工作有关的预备性、收尾性工作受到事故伤害死亡，符合《工伤保险条例》规定的工伤认定情形，应认定为工伤。
责任承担：
- 用人单位已缴纳工伤保险的，由工伤保险基金支付丧葬补助金、一次性工亡补助金等费用。具体来说，丧葬补助金为6个月的统筹地区上年度职工月平均工资；一次性工亡补助金标准为上一年度全国城镇居民人均可支配收入的20倍。
- 用人单位未依法缴纳工伤保险的，由用人单位按照工伤保险待遇项目和标准支付费用。
二、劳务关系下的雇主责任
雇佣关系与职责：
- 当死者与雇主形成劳务关系时，雇主有责任确保工作场所的安全，提供必要的安全培训和防护措施。
责任划分：
- 提供劳务一方因劳务受到损害，根据双方过错承担相应的责任。如雇主提供的工作设备存在安全隐患或未提供安全防护措施导致工人死亡，雇主通常承担主要责任。
- 工人自身存在违规操作等过错行为时，也可能承担一定比例的责任。例如，若工人因违反操作规程导致死亡，可能会根据过错程度减轻雇主的赔偿责任。
三、第三方的侵权责任
侵权情形：
- 如工作时的意外死亡是由第三方侵权行为造成的（如其他施工单位人员违规操作导致物体坠落砸死工人），侵权的第三方应承担侵权责任。
赔偿范围：
- 侵权第三方需赔偿死者家属医疗费、丧葬费、死亡赔偿金等损失。死亡赔偿金按照受诉法院所在地上一年度城镇居民人均可支配收入或者农村居民人均纯收入标准，按二十年计算。但六十周岁以上的，年龄每增加一岁减少一年；七十五周岁以上的，按五年计算。
- 若死者同时符合工伤认定条件，家属既可向侵权第三方主张侵权赔偿，也可申请工伤认定并享受工伤保险待遇（部分项目可能不能重复获得赔偿）。
四、工地安全管理问题导致的多方责任
安全管理责任：
- 建设单位对工程建设全过程负总责，施工单位是施工现场安全生产的责任主体，监理单位对施工安全承担监理责任。
责任判定：
- 如工地存在安全管理制度不完善、安全防护设施不到位、安全教育培训不足等问题导致工人意外死亡，建设单位、施工单位、监理单位等可能都要承担责任。
- 根据各单位的过错程度划分具体的赔偿责任比例。例如，若施工单位未设置安全防护设施导致工人死亡，施工单位应承担主要责任；若监理单位未及时制止和报告施工单位违规行为，监理单位也需承担一定责任。
法律建议
在工作时发生意外死亡事件时，受害者家属应尽快收集相关证据，如工作合同、工伤认定申请、事故现场照片、医疗记录等，以便进行详细的调查和分析。作为专业律师，我将根据实际情况，帮助家属确定责任方、收集证据，并提供全面的法律支持和指导，以确保家属能够获得应有的法律赔偿。同时，也提醒所有相关方加强工作场所的安全管理，遵守法律法规，共同维护工人的生命安全。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。