灵活就业人员社保缴费在一定条件下是可以退还的。具体来说，如果是因为税务机关误收或者缴费人多缴了社保费，那么这部分多缴或误收的费款是可以退还给灵活就业人员的。

为了申请退费，您需要准备一些必要的材料，并确保这些材料的真实性和合法性。虽然具体的办理材料可能因地区而异，但通常包括您的身份证明、社保缴费记录等相关文件。如果您不是本人亲自办理，还需要提供委托书和代办人的身份证原件及复印件。

在申请退费时，您可以选择多种办理方式，包括通过电子税务局、一网通办、随申办APP等线上平台，或者前往社区事务受理服务中心、办税服务厅等线下机构进行办理。具体的办理地点和流程可能因地区而异，建议您提前查询并了解清楚。

一旦您的退费申请被受理，主管税务机关会将退费信息传递给人社或医保部门，由这些部门将款项退还给您。退费的具体时间可能因人社部门的核验流程而有所延迟，请您耐心等待。

需要注意的是，您在申请退费时需要对所提供的资料负责，并确保其真实性和合法性。此外，不同地区的退费政策可能有所不同，建议您在申请前先咨询当地的主管税务机关或社保经办机构，以获取最准确的信息和指导。