关于退还土地是退给所有权人还是使用权人，这主要取决于土地的具体权属状况以及退还土地的原因和背景。以下从几个不同角度进行分析：

1. 土地所有权与使用权分离的情况：

   • 在农村土地制度中，土地所有权通常归属于集体（如村集体经济组织），而使用权则可能通过承包、租赁等方式转让给个人或单位。
   • 如果退还土地是基于使用权合同的终止或解除（如承包合同到期、租赁合同提前终止等），那么土地应当退还给使用权人（即原承包人或承租人），但使用权人需确保土地在退还时符合合同约定的条件，如未改变土地用途、未造成土地损坏等。然而，从最终归属上讲，使用权人退还土地后，土地仍归集体所有权人所有。若问题中的“退还”指的是使用权人将土地交回给集体，则实际上是使用权人放弃使用权，土地回归集体。
   • 如果退还土地是因为土地被非法占用或侵害了集体所有权，那么退还的对象自然是集体所有权人，以恢复其对土地的合法控制。

2. 土地使用权转让后的情况：

   • 如果土地使用权已经依法转让给了第三方，并且退还土地是基于某种法律义务或合同约定（如因违约而需退还），那么土地应当退还给新的使用权人。
   • 但在此情况下，如果原转让行为本身存在违法或无效情形，且集体所有权人要求恢复其对土地的所有权或管理权，那么土地可能需要退还给集体所有权人，具体取决于法律判决或行政决定。

3. 特殊情境下的退还：

   • 在某些特殊情况下，如土地征收、土地置换等，土地的退还可能涉及更复杂的法律关系和程序。这些情况下，退还的对象和方式通常由相关法律法规或政府文件明确规定。
   • 例如，在土地征收中，政府会依法对土地进行补偿，并收回土地使用权，此时土地实际上退还给了国家（代表集体行使所有权），而原使用权人则获得相应的补偿。

法律建议：

• 在处理土地退还问题时，首先应明确土地的所有权和使用权状况，以及退还土地的具体原因和背景。
• 查阅相关法律法规、合同文件或政府文件，以确定退还土地的对象、方式和程序。
• 如果涉及复杂的法律关系或争议，建议咨询专业律师或相关政府部门，以获取更具体和准确的法律指导。

可能后果：

• 如果退还土地的对象或方式不符合法律法规或合同约定，可能会引发法律纠纷或行政处罚。
• 因此，在处理土地退还问题时，务必谨慎行事，确保所有行为都符合法律法规的要求。

总结来说，退还土地是退给所有权人还是使用权人，并没有一个固定的答案，而是需要根据具体情况来判断。如果你有具体的土地退还问题或需要进一步的法律指导，请直接向我咨询。