灵活就业人员社保缴费不交了，是否给退费，这主要取决于具体的缴费情况和退费政策。一般来说，在某些特定情况下，灵活就业人员是可以申请社保费退费的。

首先，如果是因为税务机关误收或者缴费人多缴了社保费，那么产生的应退费款是可以退还给灵活就业人员的。这种情况下，您需要提供相关的证明材料，如缴费凭证、身份证等，并按照规定的流程向主管税务机关提交退费申请。主管税务机关在受理您的申请后，会将退费信息传递给人社或医保部门，由他们办理退还手续。

其次，如果您是因为重复缴纳、超龄缴纳或错误缴纳社保费，也可以申请社保费退费。这种情况下，退费的具体流程和所需材料可能会因地区和政策的不同而有所差异。一般来说，您需要提供退费账户存折（或借记卡）复印件、历史缴费明细表原件（加盖社保经办机构印章）等相关证明材料，并按照当地税务机关或社保经办机构的要求进行申请。

需要注意的是，退费申请并不是一定能成功的，它需要经过相关部门的审核和确认。而且，退费的时间也可能会因地区和流程的不同而有所延迟。因此，在申请退费前，建议您先咨询当地税务机关或社保经办机构，了解具体的退费政策和流程。

总的来说，灵活就业人员社保缴费不交了是否给退费，需要根据具体的缴费情况和退费政策来确定。如果您有退费的需求，建议您先了解清楚当地的退费政策和流程，再按照要求进行申请。