结论：人在饭店打工回家后死亡，责任归属需根据具体情况判断，可能涉及饭店、员工自身或其他第三方责任。以下从不同角度进行分析：

1. 饭店是否承担责任

• 安全保障义务：根据《中华人民共和国民法典》第一千一百九十八条，饭店作为经营场所，对员工负有安全保障义务。若员工在饭店工作期间因饭店设施缺陷（如地面湿滑、设备故障）、管理疏忽（如未提供必要防护措施）或他人侵权（如顾客殴打）导致受伤，且饭店未尽到合理安全保障义务，饭店需承担相应赔偿责任。
• 举证责任：员工或家属需证明死亡与饭店的过错存在因果关系（如工作期间受伤未及时救治、饭店未提供安全环境等）。若死亡发生在回家后，需进一步证明死亡与饭店工作期间的伤害或疾病直接相关（如突发疾病未及时送医、工伤后遗症等）。
• 例外情形：若员工死亡系自身疾病（如心脏病突发）且饭店无过错，或死亡与工作无关（如回家后因个人原因自杀），饭店通常不承担责任。

2. 员工自身或第三方责任

• 自身疾病：若员工因自身疾病（如高血压、心脏病）死亡，且饭店已尽到安全保障义务（如定期体检、提供急救措施），责任可能由员工自身承担。但若饭店未履行法定义务（如未安排体检、隐瞒工作风险），仍可能承担部分责任。
• 第三方侵权：若员工在回家途中因交通事故、他人故意伤害等第三方行为死亡，责任应由侵权方承担。饭店仅在未尽到安全保障义务（如未安排合理下班时间、未提供交通补贴导致员工疲劳驾驶）时承担补充责任。

3. 工伤认定与赔偿

• 工伤情形：根据《工伤保险条例》，若员工在工作时间和工作场所内因工作原因受伤，或上下班途中受到非本人主要责任的交通事故伤害，可认定为工伤。若死亡与工伤相关（如工作期间受伤未治愈、职业病），家属可申请工伤认定并要求赔偿。
• 非工伤情形：若死亡不符合工伤认定标准（如回家后突发疾病死亡），饭店不承担工伤赔偿责任，但可能需根据人身损害赔偿规则承担部分责任（如未提供安全工作环境导致疾病加重）。

4. 法律建议

• 家属行动：
  1. 立即报警并保留现场证据（如监控录像、医疗记录）；
  2. 申请工伤认定（若符合条件）；
  3. 收集饭店过错证据（如安全制度缺失、未提供防护设备）；
  4. 咨询律师评估责任比例并提起诉讼。
• 饭店行动：
  1. 配合调查并提供相关证据（如工作记录、安全检查报告）；
  2. 审核是否购买雇主责任险或工伤保险，以转移风险；
  3. 加强安全管理，避免类似事件再次发生。

总结：责任归属需结合死亡原因、饭店过错、工伤认定等因素综合判断。建议家属尽快收集证据并咨询律师，以明确责任主体及赔偿方案。若有进一步疑问，可直接向我咨询婚姻家庭、经济纠纷、劳动纠纷等领域的法律问题。