灵活就业人员领取退休金的年龄主要依据国家规定的法定退休年龄来确定。对于这一群体，具体的退休年龄划分如下：

1. 男性：灵活就业男性达到60周岁时，即可开始领取退休金。

2. 女性：女性灵活就业人员的退休年龄则相对复杂一些。一般来说，如果她们在灵活就业期间一直按规定缴纳了养老保险费，并且缴费年限累计达到15年以上（含视同缴费年限），那么她们可以在55周岁时开始领取退休金。但值得注意的是，不同地区可能有一些细微的差别。例如，在北京地区，根据《关于贯彻实施<北京市基本养老保险规定>有关问题的通知》，女性灵活就业人员年满50周岁时，如果符合按月领取基本养老金的条件，就可以提出领取基本养老金的申请。

综上所述，灵活就业人员的退休年龄主要受到性别、缴费年限以及地区政策等因素的影响。为了确保能够准确了解自己的退休年龄和领取退休金的条件，建议灵活就业人员咨询当地的社保机构或相关部门，以获取最准确的信息。