结论：单位未能及时办理退休手续导致您继续上班，退休后单位要求您退回上班期间的养老金，这一要求通常是不合理的，您无需退回。以下从不同角度为您详细分析：
法律角度
养老金的性质：
- 养老金是劳动者在退休后依法享受的社会保险待遇，其发放是基于劳动者在职期间的缴费和国家的社会保险制度。
- 一旦劳动者达到退休年龄并符合领取养老金的条件，社会保险机构就会开始发放养老金，这一发放与劳动者是否继续工作无关。
单位未及时办理退休手续的责任：
- 单位有义务在劳动者达到退休年龄时及时为其办理退休手续。如果单位未能及时办理，导致劳动者继续工作，这是单位的过失。
- 劳动者因单位未及时办理退休手续而继续工作的，其工作期间的工资和福利待遇应由单位按照正常标准支付。
单位要求退回养老金的合法性：
- 单位无权要求劳动者退回因单位未及时办理退休手续而继续工作期间领取的养老金。
- 养老金的发放是社会保险机构的职责，与单位无关。单位不能因其自身的过失而要求劳动者承担不利后果。
实际操作角度
与单位沟通：
- 您可以首先与单位进行沟通，明确告知单位其要求退回养老金是不合理的，并解释相关法律规定。
- 要求单位按照正常标准支付您继续工作期间的工资和福利待遇，并承担因未及时办理退休手续而给您造成的损失（如有）。
向社会保险机构咨询：
- 如果您对养老金的发放有疑问，可以向当地的社会保险机构咨询，了解养老金的发放政策和规定。
- 社会保险机构可以为您提供权威的解答和帮助。
寻求法律援助：
- 如果单位坚持要求您退回养老金，或者拒绝支付您继续工作期间的工资和福利待遇，您可以寻求法律援助。
- 您可以向我咨询，或者向当地的法律援助机构申请法律援助，以维护您的合法权益。
可能的法律后果
如果单位坚持要求退回养老金：
- 单位可能面临法律诉讼和相应的法律责任，包括支付您继续工作期间的工资和福利待遇、赔偿您因未及时办理退休手续而造成的损失等。
如果您拒绝退回养老金并维护自己的权益：
- 您有权通过法律途径维护自己的合法权益，包括向劳动争议仲裁委员会申请仲裁、向人民法院提起诉讼等。
- 在法律程序中，您需要提供相关证据证明单位未及时办理退休手续、您继续工作的事实以及单位要求退回养老金的不合理性等。
建议：您无需退回养老金，并应与单位进行沟通，明确告知单位其要求的不合理性。如果单位坚持要求退回或者拒绝支付您应得的工资和福利待遇，您可以寻求法律援助以维护自己的合法权益。如果您有任何疑问或需要进一步的帮助，请随时向我咨询。