结论：退休后返聘，吃住在单位，下班后夜里去世，单位是否有责任赔偿，需根据具体情况判断，若去世与工作无直接关联，单位一般无需承担赔偿责任；若存在特殊情况，如单位未尽到安全保障义务等，则可能需承担相应责任。以下从不同角度进行分析：

一、退休返聘的法律关系

退休返聘人员与单位之间通常形成的是劳务关系，而非劳动关系。这意味着，双方的权利义务关系主要依据《中华人民共和国民法典》中关于劳务合同的相关规定来调整，而非《中华人民共和国劳动法》或《中华人民共和国劳动合同法》。

二、单位责任的一般原则

在劳务关系中，单位对返聘人员的责任主要限于提供安全的工作环境和必要的劳动保护。若返聘人员在下班后夜里去世，且去世原因与工作无直接关联（如突发疾病、意外事件等），则单位一般无需承担赔偿责任。

三、单位可能承担责任的特殊情况

1. 单位未尽到安全保障义务：

   • 如果单位在提供住宿、餐饮等生活设施时，未尽到安全保障义务，导致返聘人员发生意外或疾病，单位可能需要承担相应的赔偿责任。例如，住宿环境存在安全隐患，导致返聘人员摔倒受伤或死亡。

2. 工作与去世存在间接关联：

   • 如果返聘人员的工作性质特殊，如长时间加班、高强度工作等，导致身体疲劳或健康状况恶化，进而引发下班后夜里去世，虽然直接原因可能非工作，但单位可能因未合理安排工作时间或未提供必要的健康检查等而承担一定责任。不过，这种情况下的责任认定较为复杂，需具体分析。

3. 单位存在过错行为：

   • 如果单位在返聘人员去世前存在过错行为，如侮辱、诽谤、殴打等，导致返聘人员精神受到严重刺激或身体受伤，进而引发去世，单位显然需要承担赔偿责任。

四、法律建议

1. 收集证据：

   • 若返聘人员家属认为单位应承担赔偿责任，应首先收集相关证据，如医疗记录、工作记录、现场照片等，以证明单位存在过错或未尽到安全保障义务。

2. 协商解决：

   • 在收集到足够证据后，家属可以与单位进行协商，寻求和解或赔偿。协商过程中，应保持冷静和理性，避免情绪化行为。

3. 法律途径：

   • 若协商无果，家属可以通过法律途径维护自身权益，如向法院提起诉讼或申请仲裁。在诉讼或仲裁过程中，应提供充分证据证明单位存在过错或未尽到安全保障义务。

最后，退休后返聘人员下班后夜里去世，单位是否有责任赔偿需根据具体情况判断。若去世与工作无直接关联且单位无过错行为，则单位一般无需承担赔偿责任。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。