法院在土地纠纷案件中退还诉讼费且未判决，通常有以下几种可能情况：

1. 原告撤诉：

   • 情况说明：在诉讼过程中，如果原告主动向法院申请撤诉，并且法院裁定准许撤诉，那么根据《诉讼费用交纳办法》的相关规定，法院会退还原告已交纳的案件受理费的一半。这是因为撤诉意味着原告放弃了继续通过诉讼解决纠纷的权利，法院因此不再需要继续审理该案件，故退还部分诉讼费。
   • 法律依据：《诉讼费用交纳办法》第十五条：“以调解方式结案或者当事人申请撤诉的，减半交纳案件受理费。”

2. 案件按撤诉处理：

   • 情况说明：除了原告主动申请撤诉外，如果原告经传票传唤，无正当理由拒不到庭，或者未经法庭许可中途退庭，法院可能会按撤诉处理。在这种情况下，同样根据《诉讼费用交纳办法》的规定，法院会退还原告已交纳的案件受理费的一半。
   • 法律依据：同上，以及《中华人民共和国民事诉讼法》中关于撤诉处理的相关规定。

3. 法院裁定不予受理或驳回起诉：

   • 情况说明：如果法院在审查原告的起诉材料后，认为不符合起诉条件，如原告主体不适格、被告不明确、诉讼请求不明确等，法院可能会裁定不予受理或驳回起诉。在这种情况下，法院也会退还原告已交纳的诉讼费。但需要注意的是，如果法院裁定驳回起诉是因为原告的诉讼请求缺乏事实或法律依据，且原告在起诉时存在过错（如恶意诉讼），法院可能不会全额退还诉讼费，或者可能不予退还。不过，在大多数情况下，如果是因为起诉条件不符而被驳回，诉讼费是会退还的。
   • 法律依据：《诉讼费用交纳办法》第八条：“下列案件不交纳案件受理费：……（二）裁定不予受理、驳回起诉、驳回上诉的案件；……”。但实际操作中，对于驳回起诉的案件，法院通常会退还已交纳的诉讼费，除非有特殊情况。

4. 诉讼费减免或缓交：

   • 情况说明：在极少数情况下，如果原告经济困难，无法承担诉讼费用，可以向法院申请减免或缓交诉讼费。如果法院批准了原告的申请，那么在案件审理过程中或结束后，原告可能不需要支付全部或部分诉讼费。不过，这种情况通常发生在案件已经受理并进入审理阶段后，且需要原告提供充分的证据证明其经济困难。而您提到的情况是法院退还了诉讼费且未判决，所以这种情况可能不是主要原因，但也不能完全排除在案件受理初期就批准减免或缓交的可能性。
   • 法律依据：《诉讼费用交纳办法》中关于诉讼费减免或缓交的相关规定。

针对您的情况，建议您：

• 核实撤诉或按撤诉处理的情况：首先确认是否自己或对方申请了撤诉，或者是否因自身原因（如未按时到庭）导致法院按撤诉处理。
• 了解法院裁定情况：如果案件并非因撤诉而结束，那么可能是法院裁定不予受理或驳回了起诉。您可以向法院查询具体的裁定理由和依据。
• 咨询法院财务部门：如果您对诉讼费的退还情况有疑问，可以直接咨询法院的财务部门或立案庭，了解具体的退费原因和流程。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。