关于“到银行取钱时人去世了，到底该谁的责任”这一问题，首先我们需要明确的是，责任的归属需要根据具体情况来判断，不能一概而论。以下是我从法律角度对此问题的全面分析：

1. 银行的责任：

   • 银行作为金融服务机构，有责任确保客户在办理业务时的安全和健康。如果银行在客户明显身体不适或存在其他紧急情况时，未能及时采取合理措施（如提供紧急救助、开通绿色通道等），导致客户不幸离世，那么银行可能需要承担一定的法律责任。
   • 然而，如果银行已经尽到了合理的注意义务，并且按照规章制度办事，没有违反相关法律法规，那么银行可能不需要承担责任。

2. 家属的责任：

   • 家属作为客户的监护人或陪同人员，也有责任关注客户的身体状况，并在必要时采取适当措施。如果家属明知客户身体状况不佳，仍坚持让客户办理业务，且未能及时采取救助措施，那么家属也可能需要承担一定的责任。
   • 同时，如果家属在客户离世后，对银行的处置方式提出异议或索赔，也需要根据具体情况来判断其合理性和合法性。

3. 法律责任的判定：

   • 在实际案例中，法律责任的判定需要考虑多种因素，包括但不限于当事人的行为、过错程度、损害后果以及因果关系等。因此，对于“到银行取钱时人去世了，到底该谁的责任”这一问题，需要由专业的法律机构或人员进行详细的调查和评估，才能得出准确的结论。

综上所述，对于这一问题的责任归属，不能简单地归咎于银行或家属中的任何一方。而是需要根据具体情况来判断，包括当事人的行为、过错程度以及损害后果等因素。如果您或您的家人遇到了类似的情况，建议您及时咨询专业的法律人士，以便获得更准确的法律建议和帮助。