在劳务派遣退休人员于用工单位场所死亡的情况下，家属追责需综合考虑多个方面。以下是对此问题的详细分析：

1. 明确结论：

   • 劳务派遣单位和用工单位需根据各自过错程度及法律规定承担相应的赔偿责任。家属应首先申请工伤认定（若适用），并依据法律规定向相关责任方主张赔偿。

2. 劳务派遣单位责任：

   • 工伤保险责任：虽然退休人员通常不再缴纳工伤保险，但若劳务派遣单位在派遣过程中有承诺或协议涉及工伤保险，且未履行相应义务，可能需承担一定责任。
   • 非因工死亡情形：若退休人员的死亡非因工造成，劳务派遣单位可能需依据与退休人员的协议或相关法律规定，给予一定的丧葬补助或抚恤金。

3. 用工单位责任：

   • 过错责任：用工单位若存在过错，如提供的工作环境存在安全隐患，导致退休人员死亡，则需承担相应的侵权赔偿责任。
   • 无过错协助义务：即使用工单位无过错，也需配合调查，提供相关证据，以协助确定责任主体。

4. 双方约定责任：

   • 劳务派遣单位和用工单位之间可能有关于责任分担的约定。这种约定在不违反法律法规强制性规定的情况下，对双方具有约束力。但家属仍有权向任何一方或双方主张权利。

5. 实际操作建议：

   • 家属应首先申请工伤认定（若退休人员仍被视为工伤主体），以确定责任主体和赔偿范围。
   • 若涉及复杂的法律责任划分，建议家属直接咨询专业律师，即我本人，以便更准确地理解法律规定，明确责任划分，并有效地维护自身权益。

综上所述，劳务派遣退休人员于用工单位场所死亡的责任承担涉及多个方面，需综合考虑劳务派遣单位、用工单位的责任以及双方之间的约定。家属在追责过程中，应依据法律规定和实际情况，向相关责任方主张赔偿。