结论：种了20年的土地能否被别人要回去，这主要取决于土地使用权的合法性、有效性，以及是否存在特殊的法律情况。若使用权合法且有效，且无违法违规情形，则别人一般不能随意要回；若存在权属争议、使用权到期或违法违规使用，则可能面临被收回的风险。下面我将从几个不同角度为您详细分析：

一、土地使用权的合法性与有效性

1. 合法使用权：在我国，土地通常属于国家或集体所有，个人或单位需通过合法方式（如承包、租赁等）获得土地使用权。若您已种植20年的土地拥有合法的土地使用权证明（如土地承包合同、土地使用证等），且一直在按规定使用土地，未违反法律法规，则您的使用权受法律保护，别人一般不能随意要回。

2. 使用权到期：如果土地使用权已到期，且未按照法律规定或合同约定进行续期，那么别人可能根据法律规定要求收回土地。

二、土地为承包地的情况

1. 承包期内：根据《农村土地承包法》，耕地的承包期通常为30年。若您的土地是通过家庭承包方式取得的承包地，且在承包期内，发包方不得随意收回承包地。除非您违反法律规定或承包合同约定的情形（如擅自改变土地用途、弃耕抛荒连续两年以上等），否则发包方无权收回土地。

2. 承包期外：若承包期已满，且未按照法律规定或合同约定进行续期，发包方可能有权收回土地。

三、土地为流转取得的经营权土地

1. 流转合同有效期内：若您的土地是通过合法的土地流转方式（如转包、出租、转让等）从其他承包人或权利人手中取得的经营权，且流转合同合法有效、未到期，则原权利人一般不能随意要回土地。

2. 流转合同解除或违约：若出现流转合同约定的解除事由，或您作为流转方违反相关法律规定或合同约定，对方可能有权依法解除合同并收回土地。

四、土地存在权属争议的情况

1. 权属争议解决前：若土地存在权属争议，如所有权或使用权归属不明确，或存在历史遗留问题，则可能需要通过法律途径（如向政府土地管理部门申请确权、向法院提起诉讼等）来解决争议。在争议解决前，任何一方不得改变土地利用现状。

2. 权属争议解决后：最终的土地归属将根据确权结果或法院判决来确定。如果确权结果或法院判决认定土地不属于您，则您可能需要返还土地。

五、特殊情况的考虑

1. 违法违规使用：若您存在违法违规使用土地的情况（如未经允许擅自占用土地、改变土地用途等），则别人有权根据法律规定要求收回土地。

2. 国家建设需要或不可抗力：若因国家建设需要、自然灾害等不可抗力因素导致土地无法继续使用，您也可能面临被收回土地的风险。不过，在这种情况下，您通常有权获得相应的补偿。

建议

为确保自身权益不受损害，我建议您：

1. 定期检查土地使用权证明：确保您的土地使用权证明合法且有效，及时办理续期手续。

2. 遵守相关法律法规及合同约定：在使用土地过程中，严格遵守相关法律法规及合同约定，避免违法违规行为。

3. 及时咨询与应对：如遇权属争议或其他法律问题，及时向我咨询以获取法律帮助，避免错过维权时机。

希望以上分析能对您有所帮助。如果您还有其他问题或需要进一步的法律帮助，请随时向我咨询。