灵活就业人员如果不继续缴纳社保费，是否可以退钱，这主要取决于具体的缴费情况和退费政策。根据公开发布的信息，灵活就业人员社会保险费的退费通常发生在以下情况：税务机关误收或缴费人多缴。这意味着，如果并非由于这些特定原因而只是个人不想继续缴纳，那么通常是不符合退费条件的。

具体来说，退费流程涉及几个关键步骤：

1. 申请条件：需要符合税务机关误收或多缴的情况，这是退费的前提条件。
2. 办理材料：在申请退费时，可能需要提供相关的证明材料，比如缴费记录、身份证明等。如果非本人办理，还需要提供委托书和代办人的身份证件。
3. 办理地点：可以通过多种渠道申请退费，包括电子税务局、一网通办、随申办APP、社区事务受理服务中心以及办税服务厅等。
4. 办理流程：主管税务机关会受理退费申请，并将信息传递给人社或医保部门进行审核。审核通过后，款项会退还给缴费人，并定期进行退费销号。

重要的是，缴费人需要确保提供的所有资料真实合法，并对资料的真实性承担责任。此外，不同地区的具体退费政策可能会有所不同，因此建议在申请退费前先咨询当地的主管税务机关或社保部门，了解具体的退费政策和流程。

总的来说，灵活就业人员如果不继续缴纳社保费，并不能直接获得退款，除非符合特定的退费条件。在决定停止缴费前，建议仔细了解当地的社保政策和退费规定，以避免不必要的损失。