灵活就业人员社保缴费在一定条件下是可以退还的。具体来说，如果是因为税务机关误收或者缴费人多缴了社保费，那么这部分多缴或误收的费用是可以退还给灵活就业人员的。

为了申请退费，您需要准备一些必要的材料，并确保这些材料的真实性和合法性。虽然具体的办理材料可能因地区而异，但通常包括个人身份证明、社保缴费凭证等。如果非本人办理，还需要提供委托书和代办人的身份证原件及复印件。

退费申请可以通过多种途径提交，包括电子税务局、一网通办、随申办APP、社区事务受理服务中心以及办税服务厅等。提交申请后，主管税务机关会受理您的退费申请，并将相关信息传递给人社或医保部门进行审核。一旦审核通过，退费款项将由人社或医保部门直接退还给您。

需要注意的是，退费的具体时间和流程可能会因地区和具体情况而有所不同。因此，在申请退费前，建议您先咨询当地的主管税务机关或社保经办机构，了解具体的退费政策和流程。

此外，还需要强调的是，灵活就业人员社保缴费的退费并不是随意的，必须符合一定的条件和规定。因此，在申请退费前，请务必仔细核对自己的缴费记录和情况，确保符合退费条件。