结论：工作时间员工私自外出溺亡，单位是否有责任需根据具体情况判断，主要看单位是否存在过错以及该过错与员工溺亡之间是否存在因果关系。以下从不同角度进行分析：

一、单位无过错的情况

如果单位已经尽到了合理的安全管理义务，例如制定了完善的规章制度，明确规定了员工在工作期间的行为规范，包括禁止私自外出等，并且对员工进行了相应的安全教育和培训，同时单位的工作场所和工作环境也不存在导致员工溺亡的安全隐患。在这种情况下，员工私自外出溺亡，单位通常不承担责任。因为单位已经采取了必要的措施来保障员工的安全，员工违反规定私自外出，其自身行为是导致溺亡的直接原因，单位没有过错，所以不承担赔偿责任。

二、单位存在过错的情况

1. 规章制度不完善或未有效执行：如果单位没有制定完善的规章制度，或者虽然制定了规章制度但没有有效执行，例如没有对员工私自外出的行为进行制止或处罚，导致员工能够轻易地违反规定外出。在这种情况下，单位可能因管理不善而存在一定的过错，如果该过错与员工溺亡之间存在一定的因果关系，单位可能需要承担相应的赔偿责任。比如，单位长期对员工私自外出行为视而不见，使得员工形成了习惯，最终导致员工在私自外出时发生溺亡事故，单位可能需要承担部分责任。
2. 工作安排不合理：如果单位的工作安排不合理，导致员工不得不私自外出，例如单位没有为员工提供必要的休息设施或餐饮服务，员工为了解决基本生活需求而私自外出。在这种情况下，单位的工作安排与员工溺亡之间可能存在一定的因果关系，单位可能需要承担一定的责任。不过，这种责任的承担需要综合考虑多种因素，如员工外出的必要性、单位是否提供了合理的替代方案等。
3. 工作环境存在安全隐患：如果单位的工作环境存在安全隐患，例如工作场所附近有未设置警示标志的危险水域，且单位没有采取相应的防护措施或提醒员工注意安全。在这种情况下，如果员工因工作原因或在工作期间因单位环境因素导致私自外出并溺亡，单位可能需要承担较大的责任。因为单位有义务保障员工在工作期间的人身安全，对于工作环境中的安全隐患没有及时排除或提醒，属于单位的过错。

三、法律建议

1. 对于单位：单位应制定完善的规章制度，明确员工在工作期间的行为规范，并加强安全教育和培训，提高员工的安全意识。同时，单位应定期对工作环境进行安全检查，及时排除安全隐患，确保员工的人身安全。如果发生员工私自外出溺亡等事故，单位应积极配合相关部门的调查，并根据实际情况承担相应的责任。
2. 对于员工家属：如果员工在工作期间私自外出溺亡，家属可以首先与单位进行协商，了解事故的具体情况和单位的处理态度。如果协商无果，家属可以向劳动争议调解组织申请调解，或者向劳动争议仲裁委员会申请仲裁。在仲裁或诉讼过程中，家属需要提供充分的证据来证明单位存在过错以及该过错与员工溺亡之间存在因果关系，以便获得相应的赔偿。

总结：工作时间员工私自外出溺亡，单位是否有责任需根据具体情况判断。单位应加强安全管理，员工也应遵守规章制度，共同维护工作期间的安全。如果发生此类事故，双方应积极协商处理，必要时可通过法律途径解决争议。如果您有进一步的法律问题，可以直接向我咨询。