结论：打工人下班后意外掉工厂的池塘里死亡，责任归属需根据具体情况判断，可能涉及工厂责任、个人责任或第三方责任。以下从不同角度进行分析：
1. 工厂责任
- 法律依据：根据《中华人民共和国民法典》第一千一百九十八条，宾馆、商场、银行、车站、机场、体育场馆、娱乐场所等经营场所、公共场所的经营者、管理者或者群众性活动的组织者，未尽到安全保障义务，造成他人损害的，应当承担侵权责任。工厂作为池塘的管理者，若未尽到安全保障义务，如池塘周围未设置围栏、警示标志等，导致员工意外落水死亡，工厂可能需要承担相应的赔偿责任。
- 具体情形：
- 若池塘位于工厂内部，且工厂未采取必要的安全措施，如设置围栏、警示标志或进行定期巡查，导致员工意外落水，工厂应承担主要责任。
- 若工厂已尽到安全保障义务，如设置了围栏、警示标志，并进行了定期巡查，但员工仍因个人原因（如醉酒、疏忽大意等）落水，工厂的责任可能会减轻或免除。
2. 个人责任
- 法律依据：根据《中华人民共和国民法典》第一千一百七十三条，被侵权人对同一损害的发生或者扩大有过错的，可以减轻侵权人的责任。若员工因个人原因（如醉酒、故意冒险、疏忽大意等）导致落水死亡，其自身可能需要承担一定的责任。
- 具体情形：
- 若员工在醉酒状态下进入池塘区域，或故意冒险进入危险区域，导致落水死亡，其自身应承担主要责任。
- 若员工因疏忽大意未注意到池塘周围的警示标志或围栏，导致落水死亡，其自身也可能需要承担一定的责任。
3. 第三方责任
- 法律依据：若存在第三方因素导致员工落水死亡，如池塘周围存在其他安全隐患（如施工未设置警示标志、他人故意破坏围栏等），则第三方可能需要承担相应的责任。
- 具体情形：
- 若池塘周围因施工未设置警示标志，导致员工误入池塘区域落水死亡，施工单位可能需要承担相应的赔偿责任。
- 若他人故意破坏池塘围栏或警示标志，导致员工落水死亡，破坏者可能需要承担相应的刑事责任和民事赔偿责任。
建议与行动
- 收集证据：家属应尽快收集相关证据，如现场照片、视频、证人证言等，以证明工厂是否尽到安全保障义务，以及员工落水死亡的具体原因。
- 协商赔偿：在收集到足够证据后，家属可以与工厂进行协商，要求工厂承担相应的赔偿责任。若协商无果，可以向当地劳动争议调解委员会申请调解或向人民法院提起诉讼。
- 法律咨询：在整个过程中，家属可以咨询专业律师（如我，朱群群律师，专注于交通事故、债权债务、劳动纠纷、合同纠纷、婚姻家庭、房产纠纷领域），以获取更详细的法律建议和帮助。
后续思考：在处理此类案件时，关键在于明确责任归属和收集充分证据。家属应尽快行动，与工厂进行沟通协商，并在必要时寻求法律帮助，以维护自身合法权益。