结论：农村土地经营权流转合同不生效时，流转土地费用是否退还需根据具体情况判断，一般不能直接认定不退还，需结合合同无效原因、双方过错程度等因素综合考量。

1. 合同不生效的常见原因及费用处理原则

   • 违反法律强制性规定：若合同因违反《农村土地承包法》第38条（如未经发包方同意流转、改变土地农业用途等）导致无效，根据《民法典》第157条，因合同取得的财产应当返还。此时流转方有权要求受让方退还已支付费用，但需扣除已使用土地期间的合理成本（如土地改良投入等）。
   • 主体资格瑕疵：若流转方非土地承包经营权人（如未经授权代签合同），受让方可主张合同无效并要求全额退还费用，除非受让方明知或应知对方无权处分。
   • 意思表示不真实：如存在欺诈、胁迫等情形，受损害方有权撤销合同并要求返还费用，同时可主张赔偿损失。

2. 双方过错对费用退还的影响

   • 受让方过错：若受让方明知流转方无权处分或土地存在权属争议仍签订合同，法院可能根据过错程度判令其承担部分费用（如土地闲置期间的损失）。
   • 流转方过错：若流转方故意隐瞒土地瑕疵（如已设定抵押、被征收等），除退还费用外，还需赔偿受让方因此遭受的损失（如预期收益损失）。
   • 混合过错：若双方均有过错，法院可能按过错比例分担费用退还责任，例如流转方退还70%费用，受让方承担30%损失。

3. 实务操作建议

   • 证据固定：流转方应保留土地权属证明、发包方同意流转的书面材料等；受让方需留存付款凭证、合同文本、土地现状照片等。
   • 协商优先：双方可先行协商，通过补充协议明确费用退还方式、时间节点及违约责任。
   • 诉讼策略：若协商无果，受让方可主张合同无效并要求返还费用及利息；流转方可反诉要求赔偿土地占用损失，但需提供充分证据（如土地租金市场价评估报告）。

提示：农村土地流转涉及集体利益，部分地区可能出台地方性法规对费用退还作出特殊规定（如设置保证金制度），建议结合当地政策进一步分析。如有具体案情，可提供详细信息以便进一步解答。