灵活就业人员只交养老保险是可以的。在中国，灵活就业人员只要参加了基本养老保险，无论是职工基本养老保险还是城乡居民基本养老保险，并且至少有一次缴费记录，就可以根据个人意愿选择是否参加个人养老金制度。这意味着，即使您只交了养老保险，没有其他的社会保险，也不会影响您参加个人养老金的资格。

对于灵活就业人员来说，参加养老保险是非常重要的，它为您的老年生活提供了基本的经济保障。而个人养老金制度则是一个额外的养老储蓄计划，可以帮助您更好地规划未来的养老生活。如果您有兴趣参加个人养老金制度，可以通过国家社会保险公共服务平台、全国人力资源和社会保障政务服务平台等官方渠道了解更多相关信息，并按照规定的流程进行申请和操作。

总的来说，灵活就业人员可以根据自己的经济状况和养老规划，灵活选择是否只交养老保险以及是否参加个人养老金制度。但无论如何，建议您都要为自己的未来做好充分的养老准备。