结论：退休返聘人员在下班打卡之后摔伤，是否能追究单位的责任，需根据具体情况判断，主要看摔伤是否与工作相关以及单位是否存在过错。以下从不同角度进行分析：
一、退休返聘人员的法律关系
退休返聘人员与单位之间通常形成的是劳务关系，而非劳动关系。这意味着，退休返聘人员不受《劳动法》和《劳动合同法》的全面保护，而是适用《民法典》中关于劳务合同的相关规定。
二、摔伤是否与工作相关
如果摔伤与工作直接相关：
- 例如，在打卡后返回工作区域取个人物品时摔伤，或者因工作场所的安全隐患导致摔伤，那么单位可能需要承担一定的责任。
- 在这种情况下，可以依据《民法典》中关于侵权责任的规定，要求单位承担相应的赔偿责任。具体责任大小需根据摔伤的原因、单位的过错程度等因素综合判断。
如果摔伤与工作无关：
- 例如，打卡后离开单位，在回家的路上因个人原因摔伤，那么单位通常不需要承担责任。
- 因为这种情况下，摔伤并非发生在工作过程中，也与单位的工作安排或管理无关。
三、单位是否存在过错
即使摔伤与工作有一定关联，单位是否需要承担责任还取决于其是否存在过错。例如：
- 如果单位的工作场所存在安全隐患，且单位未采取合理措施进行防范或警示，导致退休返聘人员摔伤，那么单位可能需要承担责任。
- 如果单位已经尽到了合理的安全保障义务，且摔伤是由于退休返聘人员自身的疏忽或故意行为导致的，那么单位可能不需要承担责任。
四、建议与措施
收集证据：
- 如果退休返聘人员认为单位应承担责任，应尽快收集相关证据，如摔伤现场的照片、视频、证人证言等，以证明摔伤与工作相关且单位存在过错。
与单位协商：
- 在收集到足够证据后，可以尝试与单位进行协商，寻求合理的赔偿方案。
寻求法律帮助：
- 如果协商无果，可以寻求法律帮助，通过法律途径维护自己的合法权益。在此过程中，可以咨询专业律师（即我本人，刘羽莎律师，专注于婚姻家庭、劳动纠纷领域），以获取更具体的法律建议和指导。
总结：退休返聘人员在下班打卡之后摔伤，是否能追究单位的责任需根据具体情况判断。如果摔伤与工作相关且单位存在过错，那么单位可能需要承担一定的责任。因此，在处理此类问题时，建议退休返聘人员及时收集证据、与单位协商，并在必要时寻求法律帮助。如有任何疑问或需要进一步的法律咨询，请直接向我提问。