核心结论：不可转让土地的转让费用是否退还及合法性需分情况讨论，具体如下：

1. 若转让行为本身因违反法律强制性规定而无效
   根据《民法典》第153条，违反法律、行政法规强制性规定的民事法律行为无效。若土地性质明确为“不可转让”（如集体所有土地未依法转为国有、划拨土地未补缴出让金等），转让合同自始无效。此时，根据《民法典》第157条，因无效合同取得的财产应当返还，因此转让方应退还费用，但需注意：

   • 若受让方存在过错（如明知土地不可转让仍签订合同），可能需承担部分损失（如土地使用费、合同履行成本等）；
     
   • 若双方均无过错，可能按公平原则分担损失。
     

2. 若转让行为因程序瑕疵（如未审批）导致效力待定或可撤销
   若土地本身可依法转让，但转让程序存在瑕疵（如未取得国土部门批准、未缴纳土地出让金等），合同可能被认定为效力待定或可撤销。此时：

   • 若受让方行使撤销权（如因转让方隐瞒程序瑕疵），转让方需退还费用；
     
   • 若程序瑕疵可补正（如补缴出让金后土地可转让），合同可能继续履行，费用无需退还。
     

3. 若转让行为涉及行政处罚或刑事责任
   若转让行为违反《土地管理法》《城市房地产管理法》等，可能面临行政处罚（如没收违法所得、罚款）或刑事责任（如非法转让土地使用权罪）。此时：

   • 行政机关可能直接没收转让费用作为违法所得，受让方需通过行政诉讼主张权益；
     
   • 若转让方被追究刑事责任，受让方可要求返还费用，但需以刑事判决追缴违法所得为前提。
     

实务建议：

• 签订土地转让合同前，务必核查土地权属证书、规划用途及转让限制条件；
  
• 若土地性质存疑，可要求转让方提供国土部门出具的“可转让证明”；
  
• 发生纠纷时，优先通过协商解决，协商不成可依据合同约定向法院起诉或申请仲裁。
  

如有具体案例或合同条款需要分析，可进一步向我提供细节，我会结合法律条文和司法实践为您详细解答。