结论：单位用退休留用的人员发生意外时，责任归属需根据具体情况判断，主要包括单位责任、退休留用人员自身责任以及可能的第三方责任。
分析说明：
单位责任：
- 劳动关系与雇佣关系：退休留用人员与单位之间通常形成的是雇佣关系，而非劳动关系。但即便如此，单位仍对退休留用人员在工作过程中因工作原因受到的伤害负有相应责任。这主要体现在单位需提供安全的工作环境，采取必要的安全措施，以及在事故发生后及时进行救助和赔偿。
- 安全保障义务：根据《民法典》等相关法律规定，单位作为雇主，对退休留用人员在工作期间的人身安全负有保障义务。如果单位未尽到这一义务，导致退休留用人员发生意外，单位应承担相应的赔偿责任。
退休留用人员自身责任：
- 过错原则：如果退休留用人员在工作中因自身过错（如疏忽大意、违反操作规程等）导致意外发生，那么其自身也应承担一定的责任。这种情况下，单位可能根据过错程度减轻或免除其赔偿责任。
- 自我保护意识：退休留用人员作为有经验的劳动者，应具备一定的自我保护意识和能力。在工作中，他们应遵守安全规定，正确使用劳动保护用品，以减少意外发生的风险。
第三方责任：
- 第三方侵权：如果退休留用人员在工作过程中因第三方的侵权行为（如交通事故、他人故意伤害等）导致意外发生，那么第三方应承担相应的赔偿责任。单位在承担赔偿责任后，有权向第三方追偿。
- 合同约定：如果单位与退休留用人员之间在雇佣合同中明确约定了意外责任的归属，那么应按照合同约定执行。但需要注意的是，合同约定不得违反法律法规的强制性规定。
特殊场景：
- 如果退休留用人员已经享受养老保险待遇或领取退休金，那么他们与单位之间通常不构成劳动关系，而是雇佣关系。这种情况下，单位对退休留用人员的意外责任可能相对较轻，但仍需根据具体情况判断。
- 如果退休留用人员在工作过程中因单位提供的设备、设施存在缺陷或安全隐患导致意外发生，那么单位应承担更重的责任。
行动建议：
- 单位方面：应加强安全管理，提供安全的工作环境，采取必要的安全措施，以减少意外发生的风险。同时，与退休留用人员签订明确的雇佣合同，约定双方的权利和义务，以及意外责任的归属。
- 退休留用人员方面：应增强自我保护意识，遵守安全规定，正确使用劳动保护用品。在工作中，如发现安全隐患或设备故障，应及时向单位报告并要求处理。
- 发生意外后：双方应积极协商处理赔偿事宜。如协商不成，可依法向人民法院提起诉讼，由法院根据具体情况判决责任归属和赔偿金额。
法律依据：
- 《民法典》第一千一百九十二条：个人之间形成劳务关系，提供劳务一方因劳务造成他人损害的，由接受劳务一方承担侵权责任。接受劳务一方承担侵权责任后，可以向有故意或者重大过失的提供劳务一方追偿。提供劳务一方因劳务受到损害的，根据双方各自的过错承担相应的责任。
- 相关司法解释和地方性法规也可能对退休留用人员的意外责任归属作出具体规定。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。