结论：退休时单位要求退还多算的工龄，这一要求是否合理需根据具体情况判断，主要涉及工龄计算的准确性、单位政策或合同约定以及是否存在错误计算等因素。以下从不同角度进行分析：

一、工龄计算的准确性

1. 法律依据：工龄的计算通常依据《中华人民共和国劳动法》及相关规定，以及单位的具体规章制度。工龄一般是指劳动者以工资收入为生活资料的全部或主要来源的工作时间。
2. 分析：如果单位在计算工龄时存在错误，例如将非工作时间计入工龄，或者对特定时间段的工作未予正确认定，那么单位要求退还多算的工龄可能是合理的。但单位需要提供充分的证据证明工龄计算存在错误。

二、单位政策或合同约定

1. 单位政策：有些单位可能有特定的工龄计算政策或规定，这些政策或规定可能不同于国家法律法规的普遍规定。如果单位政策明确规定了工龄的计算方式，并且该政策不违反法律法规的强制性规定，那么单位要求退还多算的工龄可能是基于其内部政策。
2. 合同约定：如果劳动者与单位在劳动合同中明确约定了工龄的计算方式，并且该约定不违反法律法规的强制性规定，那么单位要求退还多算的工龄可能是基于合同约定。但同样，单位需要证明工龄计算确实违反了合同约定。

三、错误计算的处理

1. 错误发现与纠正：如果单位在退休前或退休时发现工龄计算存在错误，应当及时与劳动者沟通，并协商解决方案。如果错误确实存在，且单位能够提供充分证据，那么劳动者可能需要退还多算的工龄对应的福利或待遇。
2. 劳动者权益保护：然而，如果单位无法提供充分证据证明工龄计算存在错误，或者错误计算并非劳动者的过错导致，那么单位要求退还多算的工龄可能缺乏法律依据。在这种情况下，劳动者有权拒绝单位的要求，并可以寻求法律援助或向劳动争议调解仲裁机构申请调解或仲裁。

四、建议与行动

1. 核实工龄计算：首先，建议您核实自己的工龄计算是否准确。您可以要求单位提供工龄计算的详细依据和证据，以便您进行核对。
2. 沟通协商：如果发现工龄计算确实存在错误，建议您与单位进行沟通协商，寻求合理的解决方案。例如，您可以与单位协商退还多算的工龄对应的福利或待遇，或者要求单位给予其他形式的补偿。
3. 寻求法律援助：如果单位无法提供充分证据证明工龄计算存在错误，或者您认为单位的要求缺乏法律依据，那么您可以寻求法律援助或向劳动争议调解仲裁机构申请调解或仲裁。

最后，退休时单位要求退还多算的工龄是一个复杂的问题，需要根据具体情况进行判断。如果您对此有任何疑问或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供详细的法律建议。