结论：员工离开工地回家20天后突然死亡，老板是否有责任，不能一概而论，需要分情况讨论。

分析：

1. 工伤认定角度：

   • 根据《工伤保险条例》的相关规定，工伤通常指的是在工作时间和工作场所内，因工作原因受到的事故伤害，或者因履行工作职责受到暴力等意外伤害，以及上下班途中受到非本人主要责任的交通事故等情形。
   • 在本案例中，员工已经离开工地回家20天，显然已经超出了工作时间和工作场所的范围，且死亡原因未明确说明是否与工作有关。因此，从工伤认定的角度来看，老板通常不承担工伤赔偿责任。

2. 雇主责任角度：

   • 雇主责任通常指的是雇主对其雇员在从事雇佣活动中遭受的人身损害或财产损失承担的赔偿责任。
   • 在本案例中，员工已经结束工作并回家多日，其死亡并非发生在从事雇佣活动的过程中，也未明确说明死亡原因与工作有直接关联。因此，从雇主责任的角度来看，老板通常也不承担赔偿责任。

3. 特殊情况考虑：

   • 如果员工死亡的原因与工作有间接关联，比如长期从事重体力劳动导致身体机能下降，进而引发疾病死亡，但这种情况下的因果关系通常难以直接证明，且需要专业的医学鉴定。
   • 另外，如果老板在员工工作期间存在违反劳动法规定的行为，如未提供必要的安全保障措施、未进行必要的健康检查等，且这些行为与员工死亡之间存在因果关系，那么老板可能需要承担一定的法律责任。但这种情况需要具体的证据支持，且通常需要通过法律程序进行认定。

建议：

• 对于员工家属来说，如果认为员工死亡与工作有某种关联，可以收集相关证据，如工作记录、医疗记录等，并咨询专业律师，了解是否有可能通过法律途径追究老板的责任。
• 对于老板来说，如果担心类似情况的发生，可以加强工作场所的安全管理，提供必要的健康检查和安全保障措施，以降低潜在的法律风险。

后续行动：

• 如果您有进一步的疑问或需要更具体的法律建议，请直接向我咨询，我会根据您的具体情况提供更详细的解答。