灵活就业人员社保缴费交了3年后，一般情况下是不能直接退保的，除非满足特定的退费条件。

根据相关规定，灵活就业人员社会保险费的退费条件主要是因税务机关误收或缴费人多缴而产生的应退还给灵活就业人员的费款。这意味着，如果您正常缴纳了社保费用，且没有出现税务机关误收或多缴的情况，那么您是无法申请退费的。

如果您确实认为存在退费的情况，比如税务机关误收了您的费用，或者您多缴了社保费用，那么您可以按照以下流程尝试申请退费：

1. 准备相关材料：您需要准备相关的证明材料，如缴费凭证、身份证明等。如果非本人办理，还需要提供委托书和代办人的身份证原件及复印件。

2. 前往办理地点：您可以通过电子税务局、一网通办、随申办APP、社区事务受理服务中心或办税服务厅等渠道提交退费申请。

3. 提交申请并等待审核：在提交申请后，主管税务机关会受理您的退费申请，并将信息传递给人社部门进行审核。人社或医保部门会根据实际情况将款项退还给您，并定期将已办理的退费信息传递至税务机关进行退费销号。

需要注意的是，灵活就业社会保险费退费是由社保部门进行实质性审核的，因此具体的退费情况和流程可能会因地区和政策的不同而有所差异。建议您在申请退费前，先咨询当地的社保部门或税务机关，了解具体的退费政策和流程。

总之，灵活就业人员社保缴费交了3年后，一般情况下是不能直接退保的。如果您确实存在退费的情况，可以按照相关规定和流程尝试申请退费。