核心结论：档案年月早于身份证且晚办退休的情况下，单位发放的工资是否需要退回，需分情况讨论，具体如下：

1. 若单位发放工资是基于实际劳动关系及合法审批流程
   根据《劳动法》及《劳动合同法》，退休年龄的认定通常以档案最早记载的出生时间为准（原劳动和社会保障部《关于制止和纠正违反国家规定办理企业职工提前退休有关问题的通知》）。若单位因档案年龄已达退休条件而终止劳动关系并停发工资，但后续因身份证年龄未达退休标准补发工资，补发部分可能涉及违规，需结合地方政策及单位内部规定判断是否需退回。
   关键点：若补发工资缺乏合法依据（如未履行退休审批程序），单位有权要求退回；若单位存在过错（如未及时办理退休手续），则可能无需退回。

2. 若单位发放工资存在程序瑕疵或错误
   例如，单位未核实档案年龄即按身份证年龄延迟办理退休，导致多发放工资，单位可主张返还。根据《民法典》第122条，因他人没有法律根据取得不当利益的，受损失的人有权请求返还。
   例外情形：若劳动者能证明单位故意延迟办理退休以获取利益（如规避社保缴费），可能构成对劳动者权益的侵害，此时返还请求可能被驳回。

3. 地方政策差异的影响
   部分省份（如广东、浙江）已出台规定，明确以身份证年龄为准办理退休。若所在地区执行此类政策，则档案年龄与身份证年龄不一致不影响退休时间认定，单位无权要求退回工资。
   建议行动：需查询当地人社部门的具体规定，或提供所在省份进一步分析。

实务建议：

• 劳动者应保留单位出具的退休审批表、工资发放记录等证据；
  
• 单位需核查退休审批流程是否符合规定，避免因程序违法承担责任；
  
• 双方可协商解决，协商不成可通过劳动仲裁或诉讼途径处理。
  

如有具体案例细节（如地区、单位性质、审批流程等），可进一步提供信息以便精准分析。