将非法占用的土地，一般应当退还给土地所有权人，但在特定情况下，需考虑土地实际使用权人的权益。以下从不同角度为你详细分析：

从土地所有权角度

根据我国相关法律规定，土地所有权归国家或集体所有。非法占用土地的行为，侵犯了土地所有权人的合法权益。土地所有权人有权要求非法占用人停止侵害、排除妨碍、返还土地。例如，农村集体所有的土地被非法占用，集体组织作为土地所有权人，有权要求非法占用人将土地返还，以恢复集体对土地的支配和管理，保障全体集体成员的利益。这是基于土地所有权的基本权能，即所有权人对自己的不动产或者动产，依法享有占有、使用、收益和处分的权利。非法占用土地破坏了这种权利的完整性，返还土地是恢复所有权正常状态的必要措施。

从土地实际使用权角度

在某些情况下，虽然土地所有权归国家或集体，但存在合法的实际使用权人。比如，农村村民通过合法程序取得了宅基地的使用权，并在宅基地上建造了房屋。如果此时土地被非法占用，实际使用权人的权益也受到了侵害。在这种情况下，虽然从法律层面土地所有权人有权要求返还土地，但实际处理时也需要充分考虑实际使用权人的利益。如果非法占用行为导致实际使用权人无法正常使用土地，实际使用权人有权要求非法占用人承担相应的民事责任，包括停止侵害、赔偿损失等。并且在返还土地的过程中，应当保障实际使用权人能够顺利恢复对土地的正常使用，例如，如果非法占用人在土地上进行了建设，在拆除违法建筑返还土地时，要尽量避免对实际使用权人合法建筑的破坏。

特殊情况处理

如果非法占用土地的行为涉及到复杂的法律关系和利益纠葛，例如存在多个主体对土地主张权利、土地权属存在争议等情况，就不能简单地直接将土地返还给土地所有权人或考虑实际使用权人。此时，需要先通过行政程序或司法程序明确土地的权属。在权属明确之前，非法占用人应当保持土地现状，不得擅自改变土地用途或进行新的建设。待权属确定后，再按照相应的法律规定和权属情况，确定土地的返还对象和相关责任。

给你的建议：如果遇到非法占用土地的情况，首先要明确土地的权属状况，收集相关证据，如土地权属证书、使用协议等。然后可以与非法占用人进行协商，要求其返还土地并承担相应的责任。如果协商不成，可以向相关的土地管理部门投诉举报，由土地管理部门进行调查处理。必要时，也可以向人民法院提起诉讼，通过法律途径维护自己的合法权益。如果你在处理这类问题时还有疑问，可以直接向我咨询。