灵活就业人员只交社保，确实会影响退休工资，但前提是需要满足一定的条件才能退休并领取养老金。以下是对这一问题的详细解答：
一、退休条件
达到法定退休年龄：
- 男性灵活就业人员的退休年龄通常为60周岁。
- 女性灵活就业人员的退休年龄因地区而异，大部分地区规定为55周岁，但也有部分地区允许符合一定条件的女性50周岁退休。具体退休年龄需参考当地政策。
累计缴费满规定年限：
- 根据《社会保险法》，无论是城镇职工还是灵活就业人员，参加基本养老保险的个人在达到法定退休年龄时，必须累计缴费满十五年，才能按月领取基本养老金。
二、缴费情况对退休工资的影响
- 缴费年限：累计缴费年限是计算退休工资的重要因素。缴费年限越长，退休工资通常越高。
- 缴费标准：灵活就业人员可以根据自己的经济状况和所在地区的政策规定选择缴费档次。缴费标准越高，个人账户储存额越多，退休工资也会相应提高。
三、未达到累计缴费年限的处理方式
如果灵活就业人员达到法定退休年龄时累计缴费不足十五年，可以选择以下方式处理：
- 继续缴费：直至缴满十五年，之后即可按月领取基本养老金。
- 转入城乡居民养老保险：按照相关规定享受相应的养老保险待遇。
- 一次性领取：个人可以书面申请终止职工基本养老保险关系，一次性领取个人账户储存额，但这种方式会使参保人失去按月领取养老金的待遇。
四、建议
- 灵活就业人员应尽早规划自己的社保缴纳和退休计划，确保满足退休条件。
- 在经济条件允许的情况下，尽量多缴社保费用，以提高退休后的养老保障水平。
- 关注当地政策变化，及时调整自己的社保缴纳策略。
综上所述，灵活就业人员只交社保是可以退休并领取养老金的，但退休工资的具体数额会受到缴费年限、缴费标准等多种因素的影响。因此，建议灵活就业人员根据自己的实际情况和政策规定来合理规划自己的社保缴纳和退休计划。