关于灵活就业退休时年龄认定的问题，即按身份证还是档案年龄来确定，这主要依据的是相关政策和规定。

根据《劳动和社会保障部关于制止和纠正违反国家规定办理企业职工提前退休有关问题的通知》，以及部分地方如福建省的具体执行文件（如《福建省劳动和社会保障厅关于规范职工退休审批管理工作的通知》），对于职工出生年月的认定，采取的是居民身份证与职工档案相结合的办法。当本人身份证与档案记载的出生时间不一致时，原则上会以本人档案中最先记载的出生时间为准。这通常指的是《招工(干)登记表》、《军人入伍登记表》、《大中专毕业生分配表》等档案材料中的最早记录。

因此，对于灵活就业者来说，在办理退休手续时，如果身份证和档案上的年龄存在不一致，相关部门会依据档案中最先记载的时间来确定退休年龄。这一规定旨在确保退休审批的准确性和公正性，避免因年龄认定问题而导致的退休待遇纠纷。

总的来说，灵活就业者在办理退休时，应同时提供身份证和完整的档案资料，以便相关部门能够准确认定出生年月，从而确定退休时间。如有任何疑问或需要进一步的帮助，建议咨询当地的人社部门或社保服务机构。