灵活就业人员退休时，是否需要档案取决于个人的具体情况。

对于有档案的灵活就业人员，在办理退休时，需要携带档案以及由社区或退管中心开具的《居住地调查表》前往相关部门进行申报。档案在这里起到了证明个人工作经历、缴费年限等重要作用，是核定退休待遇的重要依据之一。

然而，对于无档案的灵活就业人员，同样可以办理退休手续。他们只需在居住地社区或退管中心开具《居住地调查表》后，前往相应的区（县）社保分中心进行办理即可。在这种情况下，虽然没有档案，但相关部门会根据其他可用信息来核定个人的退休待遇。

总的来说，灵活就业人员退休时是否需要档案并不是绝对的，而是根据个人的具体情况而定。如果有档案，建议携带以便更准确地核定退休待遇；如果没有档案，也不必过于担心，因为仍然有其他途径可以办理退休手续并享受相应的退休待遇。同时，无论是否有档案，灵活就业人员都应该关注并了解自己的退休政策，以便在退休时能够顺利办理相关手续并享受应有的待遇。