针对您提出的“退休人员下班途中摔伤单位不负责怎么办”的问题，这确实是一个涉及法律关系和责任界定的复杂情况。以下是我为您提供的详细解答：
一、法律关系界定
首先，我们需要明确退休人员与单位之间的法律关系。通常情况下，退休人员与单位之间建立的是劳务关系，而非劳动关系。这意味着退休人员不受《劳动合同法》的全面保护，也不享受工伤保险待遇。双方的权利和义务主要在签订的劳务合同中明确。
二、单位不负责的可能情况
伤害由第三方导致：
- 如果退休人员在下班途中因交通事故、道路施工等外部原因受伤，且单位对此没有过错（如未提供交通工具、未要求员工在特定时间地点集合等），那么责任一般由侵权的第三方承担，单位无需承担直接责任。
劳务合同无特别约定：
- 如果劳务合同中未明确约定单位在退休人员下班途中受伤时需要承担的责任或提供补偿，那么单位可能无需承担直接责任。
三、单位可能需要负责的情况
劳务合同有约定：
- 如果劳务合同中明确约定了单位在某些情况下需要对退休人员的伤害承担一定责任或提供补偿（如购买商业意外保险、协助保险理赔等），那么单位应按照合同约定履行义务。
单位存在过错：
- 如果单位的某些行为与退休人员在下班途中受伤存在因果关系，如提供了有安全隐患的交通工具、工作环境恶劣或安排加班导致员工在恶劣的天气或路况条件下很晚才下班，从而增加了员工受伤的风险，并且这种安排存在不合理性，那么单位可能需要承担部分或全部责任。
四、解决建议
核查劳务合同：
- 首先，您应仔细核查与单位签订的劳务合同，了解其中关于伤害责任和补偿的约定。
咨询专业律师：
- 如果合同中没有明确约定或您对合同条款有疑问，建议及时咨询专业律师以获取准确的法律意见。律师可以根据您的具体情况，分析单位是否需要承担责任，并为您提供相应的法律建议。
追溯事故责任方：
- 如果伤害是由第三方导致的，您可以考虑向第三方追究责任。例如，在道路施工导致的伤害中，您可以向施工方提出索赔要求。
协商与调解：
- 在明确责任方后，您可以尝试与责任方进行协商或申请调解，以达成赔偿协议。如果协商或调解无果，您可以考虑通过法律途径解决纠纷。
五、防范措施
- 签订详细劳务合同：为避免潜在纠纷，退休人员与单位应签订详细的劳务合同，明确双方在各种情况下的权利和义务，包括安全、保险和事故处理等方面的条款。
- 增强安全意识：退休人员在下班途中应增强安全意识，注意观察路况和周围环境，避免发生意外。
综上所述，退休人员下班途中摔伤单位是否负责需要根据具体情况进行综合分析。通过签订详细的劳务合同、及时咨询专业律师以及采取必要的防范措施，可以有效预防和解决潜在的纠纷。