关于工作时间离岗死亡单位是否有责任的问题，需根据具体情况判断，以下是详细分析：
认定为工伤的情形及单位责任
- 工伤认定条件：根据《工伤保险条例》第十五条，职工在工作时间和工作岗位，突发疾病死亡或者在48小时之内经抢救无效死亡的，视同工伤。这里的关键在于“工作时间”和“工作岗位”，即使职工在工作时间离岗，但如果离岗行为与突发疾病无直接因果关系，且符合时间要求，仍有可能被认定为工伤。例如，职工因身体不适离岗去医务室或医院，途中或就医过程中死亡，符合时间要求的，可被认定为工伤。
- 单位责任：若被认定为工伤，单位需承担工伤保险责任。如果单位已为员工缴纳工伤保险，则由工伤保险基金支付丧葬补助金、供养亲属抚恤金和一次性工亡补助金；若单位未缴纳工伤保险，则由单位按照工伤保险待遇项目和标准，承担全部工亡赔偿责任。
不认定为工伤但单位存在过错的情形及单位责任
- 非工伤情况：如果职工的死亡不属于工伤认定的范围，如因个人健康原因在非工作时间和工作岗位发生，或者离岗行为与工作无直接关联，单位通常不承担工伤责任。
- 单位过错责任：但若职工的死亡是由于单位提供的工作环境存在重大安全隐患、工作任务严重超出身体承受能力、单位安全教育或管理不到位等单位过错原因导致的，单位需根据其过错程度承担相应的民事赔偿责任。这包括医疗费（如有抢救）、丧葬费、死亡赔偿金、精神损害抚慰金等。
单位无过错且不符合工伤认定的情形
- 在单位没有过错，且职工的死亡不符合工伤认定条件的情况下，单位通常不承担法定赔偿责任。但基于人道主义等原因，单位可能会给予员工家属一定的补偿，但这并非法律上的赔偿责任，而是出于道德和人文关怀的考虑。
操作建议：
- 员工家属在员工工作时间离岗死亡后，应及时申请工伤认定，由社会保险行政部门根据具体情况作出是否属于工伤的认定结论。
- 根据工伤认定结论，再依据相关法律法规来确定单位应承担的责任。如果单位存在过错，员工家属可以依法向单位主张民事赔偿。
- 在处理过程中，建议员工家属收集相关证据，如工作记录、医疗记录、证人证言等，以支持其主张。
总结：工作时间离岗死亡单位是否有责任，需根据具体情况判断。如果符合工伤认定条件，单位将承担工伤保险责任；如果不属于工伤，但单位存在过错，也可能承担相应的民事赔偿责任；若单位无过错且不符合工伤认定条件，则可能基于人道主义给予一定补偿。如有更多疑问或需要进一步的法律帮助，请直接向我咨询。