《土地管理法》第81条责令交还土地是交给原土地所有者或使用者。具体分析如下：

一. 责令交还土地的对象

1. 原土地所有者或使用者：根据《土地管理法》的相关规定，当土地使用者违反法律规定，如非法占用土地、擅自改变土地用途等，主管部门有权责令其交还土地。此时，交还的对象自然是原土地的所有者或合法使用者。
2. 例如，如果某公司非法占用了农民的耕地进行建设，那么根据《土地管理法》第81条，该公司被责令交还土地时，应将土地交还给原农民作为耕地使用。

二. 责令交还土地的法律后果

1. 恢复土地原状：交还土地时，土地使用者应负责将土地恢复到原状，或按照土地所有者的要求进行恢复。
2. 赔偿损失：如果土地使用者非法占用或改变土地用途给土地所有者造成了损失，还应依法承担赔偿责任。

综上所述，《土地管理法》第81条责令交还土地是交给原土地所有者或使用者，这是为了维护土地的合法使用秩序，保护土地所有者的合法权益。如有进一步需要，您可以继续咨询我。