结论：退休返聘人员下班途中摔伤，单位是否有责任需根据具体情况综合判断，主要包括劳务合同约定、单位是否存在过错等因素。以下从不同角度为您详细分析：
一、法律关系界定
退休返聘人员与企业之间通常建立的是劳务关系，而非劳动关系。这意味着退休返聘人员不受《劳动合同法》的全面保护，不享受工伤保险待遇。双方的权利和义务主要通过签订的劳务合同来明确。
二、单位不需要承担责任的情况
- 伤害由第三方导致且单位无过错：
- 若退休返聘人员在上下班途中因交通事故或其他外部原因（如被其他车辆碰撞、摔倒等）受伤，且单位对此没有过错（如未提供交通工具、未要求员工在特定时间或地点集合等），那么责任一般由侵权的第三方承担，单位无需承担直接责任。
三、单位需要承担责任的情况
劳务合同有约定：
- 如果单位与退休返聘人员签订的劳务合同中明确约定了单位在某些情况下需要对返聘人员的伤害承担一定责任或提供补偿（如购买商业意外保险、协助保险理赔等），那么单位应按照合同约定履行义务。
单位存在过错：
- 若单位的行为与退休返聘人员在上下班途中受伤存在因果关系，单位可能需要承担相应的赔偿责任。例如：
- 单位提供了有安全隐患的交通工具，导致员工受伤；
- 单位工作环境恶劣或安排加班，导致员工在恶劣的天气或路况条件下很晚才下班，从而增加了员工受伤的风险，并且这种安排存在不合理性。
- 在这些情况下，单位可能需要承担部分或全部责任。具体责任比例需根据过错程度、因果关系等因素综合判断。
四、针对您情况的具体分析
- 您提到“因为夜班疲劳”，如果单位存在强迫加班、未提供合理休息时间等过错行为，且这些行为与您摔伤之间存在因果关系，那么单位可能需要承担一定责任。
- 如果摔伤完全是由于您个人原因（如疏忽大意、未注意路况等）导致，且单位不存在过错行为，那么单位可能无需承担责任。
五、建议与防范措施
审查劳务合同：
- 仔细审查您与单位签订的劳务合同，了解其中关于安全、保险和事故处理等方面的条款。
收集证据：
- 如果您认为单位存在过错行为，应尽可能收集相关证据（如加班记录、工作条件照片、医疗证明等），以备后续维权之需。
及时沟通：
- 与单位及时沟通，说明情况并协商解决方案。如果协商无果，可以考虑通过法律途径维护自己的权益。
总之，退休返聘人员下班途中摔伤，单位是否有责任需根据具体情况综合判断。如果您对此有疑问或需要进一步的法律帮助，请随时向我咨询。