结论：工厂是否有责任，不能一概而论，需要结合具体情况来判断，主要看死亡原因是否与工作相关或工厂是否存在过错。以下从不同情况为你详细分析：
若死亡原因与工作直接相关
- 法律背景：根据《工伤保险条例》第十五条规定，职工在工作时间和工作岗位，突发疾病死亡或者在48小时之内经抢救无效死亡的，视同工伤。如果员工是在工厂安排的工作过程中，比如因工作强度过大、工作环境恶劣等因素导致突发疾病死亡，即便是在被送回家后当晚死亡，只要符合上述“工作时间和工作岗位突发疾病，48小时内死亡”的条件，就应当认定为工伤。
- 法律后果：一旦被认定为工伤，工厂需要承担相应的工伤赔偿责任。赔偿项目包括丧葬补助金、供养亲属抚恤金和一次性工亡补助金等。其中，丧葬补助金为6个月的统筹地区上年度职工月平均工资；供养亲属抚恤金按照职工本人工资的一定比例发给由因工死亡职工生前提供主要生活来源、无劳动能力的亲属，标准为配偶每月40%，其他亲属每人每月30%，孤寡老人或者孤儿每人每月在上述标准的基础上增加10%，核定的各供养亲属的抚恤金之和不应高于因工死亡职工生前的工资；一次性工亡补助金标准为上一年度全国城镇居民人均可支配收入的20倍。
若死亡原因与工作无关，但工厂存在过错
- 法律背景：如果员工死亡并非因工作原因导致，但工厂在安排工作、送员工回家等过程中存在过错，例如工厂安排的工作严重超出员工身体承受能力，或者送员工回家的车辆存在安全隐患、司机疲劳驾驶等，导致员工在回家途中或到家后死亡，工厂可能需要承担一定的民事赔偿责任。根据《民法典》第一千一百六十五条规定，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。
- 法律后果：工厂需根据其过错程度承担相应的赔偿责任，赔偿范围可能包括医疗费、丧葬费、死亡赔偿金等。死亡赔偿金按照受诉法院所在地上一年度城镇居民人均可支配收入或者农村居民人均纯收入标准，按二十年计算。但六十周岁以上的，年龄每增加一岁减少一年；七十五周岁以上的，按五年计算。
若死亡原因与工作无关，且工厂无过错
- 法律背景：如果员工死亡是由于自身疾病（非工作引发）、意外事件等与工作无关的原因导致，且工厂在工作安排、送员工回家等过程中不存在任何过错，那么工厂通常不需要承担法律责任。
- 法律后果：这种情况下，工厂无需进行赔偿，员工的家属需要自行承担相应的后果。
建议：家属可以先收集相关证据，如员工的工作记录、死亡证明、医院的诊断记录等，以确定死亡原因是否与工作有关以及工厂是否存在过错。如果对具体情况不太确定，可以向当地的劳动保障部门咨询或者申请工伤认定，也可以直接向我咨询，我会根据你提供的详细信息为你进一步分析。