关于退休档案是否按最早时间算的问题，这主要涉及到职工出生年月的认定。根据《福建省劳动和社会保障厅关于规范职工退休审批管理工作的通知》(闽劳社[2001]362号)的相关规定，我们可以得到以下详细解答：

在办理退休时，对于职工出生年月的认定，是采取居民（公民）身份证与职工档案相结合的方式来确定的。这意味着，当职工的身份证上记载的出生时间与档案中记录的出生时间不一致时，并不是简单地以其中一个为准，而是有特定的判断依据。

具体来说，如果身份证与档案记载的出生时间存在差异，那么原则上会以职工档案中最早记载的时间为准。这里所说的“最早记载的时间”，通常指的是档案中的《招工(干)登记表》、《军人入伍登记表》、《大中专毕业生分配表》等具有法律效力的文件材料上首次记录的出生时间。

因此，可以认为，在退休档案的认定中，确实存在按照最早时间进行计算的情形，但这仅限于当身份证与档案记载不一致时，以档案中的最早记载为准。如果身份证与档案记载一致，则直接以该时间为准进行退休审批。

综上所述，退休档案的认定并不是简单地按最早时间算，而是根据身份证与档案的记载情况，综合考虑后确定的。在处理相关问题时，应严格按照相关规定执行，确保退休审批的公正性和准确性。