被诈骗的二三四级卡主，如果并非诈骗行为的直接参与者或并未从中获利，一般不需要退钱。以下是对此问题的详细分析：

一. 法律责任分析

1. 直接参与者与获利情况：根据《中华人民共和国刑法（2023修正）》第六十四条，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔。但对于被诈骗的二三四级卡主，如果他们并未直接参与诈骗行为，也未从诈骗中获利，那么他们就不属于“犯罪分子”，因此不存在退钱的问题。
2. 过错责任原则：根据《中华人民共和国民法典》第一千一百六十五条，行为人因过错侵害他人民事权益造成损害的，应当承担侵权责任。但在此情况下，二三四级卡主通常是被诈骗的受害者，而非加害者，因此他们不承担侵权责任，也就无需退钱。

二. 特殊情况分析

• 明知或应知情况：如果二三四级卡主明知或应知他人利用信息网络实施诈骗，并为其提供了帮助（如提供账户、转账等），那么他们可能构成帮助信息网络犯罪活动罪。在这种情况下，根据法律规定，他们可能需要承担一定的法律责任，包括退赔受害者的损失。但这种情况并非普遍，需要具体案件具体分析。

三. 结论与建议

综上所述，被诈骗的二三四级卡主，如果并非诈骗行为的直接参与者或并未从中获利，一般不需要退钱。但如果他们明知或应知他人利用信息网络实施诈骗，并为其提供了帮助，那么可能需要根据具体情况承担一定的法律责任。

我的观点是，对于被诈骗的二三四级卡主，应首先确认他们是否直接参与了诈骗行为或从中获利。如果没有，那么他们无需退钱；如果有，那么可能需要承担相应的法律责任。如有进一步需要，您可以继续咨询我。