因单位档案管理人员失职导致您公务员应退休未退休，可以要求单位及时办理退休手续，并享受相应的待遇，通常不会让您退回已领取的工资。下面我将从法律角度为您详细分析这一问题：

一. 单位档案管理人员失职的法律责任

根据《档案管理违法违纪行为处分规定》等相关法律法规，单位档案管理人员若因失职导致档案管理混乱或错误，可能面临行政处分，包括警告、记过、记大过、降级、撤职甚至开除等。然而，这些处分主要是针对档案管理人员的失职行为，并不直接涉及您作为公务员的退休待遇问题。

二. 公务员应退休未退休的处理方式

1. 单位责任：

   • 根据《中华人民共和国公务员法》等相关法律法规，单位有义务为符合退休条件的公务员及时办理退休手续。若因单位档案管理人员失职导致您应退休未退休，单位应承担相应的责任。

2. 您的权益：

   • 在此情况下，您可以要求单位及时为您办理退休手续，并享受相应的退休待遇。这包括退休金、医疗保险等福利待遇。

3. 工资问题：

   • 通常情况下，若您已按照单位规定正常工作并领取了工资，这些工资是您的合法收入，不会因单位档案管理人员的失职而要求您退回。除非存在特殊情况，如您明知自己已达到退休年龄却故意隐瞒不报，继续领取工资，这可能构成不当得利，需要退回多领的工资。但根据您提供的情况，这并不适用。

三. 建议与结论

1. 与单位沟通：

   • 我建议您首先与单位沟通，说明情况，并要求单位及时为您办理退休手续。

2. 保留证据：

   • 在沟通过程中，您可以保留相关证据，如工作记录、工资单等，以证明您的工作情况和工资领取情况。

3. 法律途径：

   • 如果单位拒绝为您办理退休手续或提出不合理要求，您可以通过法律途径解决争议。您可以咨询当地劳动监察部门或提起劳动仲裁、诉讼等。

我的观点是，因单位档案管理人员失职导致您公务员应退休未退休，您有权要求单位及时为您办理退休手续并享受相应待遇。通常情况下，您不会因此被要求退回已领取的工资。但具体处理结果还需根据实际情况和相关法律法规来判断。如有进一步需要，您可以继续咨询我。