灵活就业人员社保缴费在一定条件下是可以退回的。具体来说，如果是因为税务机关误收或者缴费人多缴了社保费，那么这部分多缴或误缴的费款是可以退还给灵活就业人员的。

要办理社保费退费，您需要前往主管税务机关进行申请。申请时，请确保提供的资料真实、合法，并按照要求填写相关的退费申请表格。如果您不是本人亲自办理，还需要提供委托书以及代办人的身份证原件和复印件。

退费申请提交后，主管税务机关会受理并审核您的申请。一旦审核通过，税务机关会将退费信息传递给人社或医保部门，由这些部门将款项退还给您。退费的具体时间可能会因人社部门的核验流程而有所延迟，所以请您耐心等待。

此外，还有一些注意事项需要您关注：

1. 缴费人对报送资料的真实性和合法性承担责任。如果发现提供的资料存在虚假或不合法的情况，可能会影响到退费的办理。
2. 如果您此前未进行存款账户账号报告，那么在申请退费时，您需要提供社保卡或退费账户银行卡的复印件，以便人社或医保部门将款项准确地退还给您。

总的来说，灵活就业人员社保缴费的退费流程是清晰且规范的。只要您符合退费条件，并按照要求提供相关资料和办理手续，就可以顺利地完成退费申请。如果您在办理过程中遇到任何问题或疑问，可以随时咨询当地的主管税务机关或拨打12366进行咨询。