结论前置：私下口头买的地种了20多年，土地是否能被别人要回去，主要取决于土地使用权的合法性、有效性以及是否存在特殊的法律情况。若使用权合法且有效，且无违法违规情形，则别人一般不能随意要回；若存在权属争议、使用权到期或违法违规使用，则可能面临被收回的风险。以下是对此问题的详细分析：

1. 土地使用权的合法性与有效性

   • 在我国，土地通常属于国家或集体所有，个人或单位需通过合法方式（如承包、租赁等）获得土地使用权。若您已种植20年的土地拥有合法的土地使用权证明（尽管是口头协议，但若有其他证据如证人证言、付款记录等能佐证使用权归属，也可视为有一定合法性基础），且一直在按规定使用土地，未违反法律法规，则使用权受法律保护，别人一般不能随意要回。但口头协议在法律上证明力较弱，若发生纠纷，可能面临举证困难的问题。

2. 土地为承包地的情况

   • 根据《农村土地承包法》，耕地的承包期通常为30年。若土地是通过家庭承包方式取得的承包地，且在承包期内，发包方不得随意收回承包地。您已种植20年，若仍在承包期内，且未违反法律规定或承包合同约定的情形（如擅自改变土地用途、弃耕抛荒连续两年以上等），则发包方无权收回土地。

3. 土地为流转取得的经营权土地

   • 若土地是通过合法的土地流转方式（如转包、出租、转让等）从其他承包人或权利人手中取得的经营权，且流转合同（尽管是口头，但若有其他证据佐证）合法有效、未到期，则原权利人一般不能随意要回土地。但若出现流转合同约定的解除事由，或流转方违反相关法律规定或合同约定，对方可能有权依法解除合同并收回土地。

4. 土地存在权属争议的情况

   • 若土地存在权属争议，如所有权或使用权归属不明确，或存在历史遗留问题，则可能需要通过法律途径（如向政府土地管理部门申请确权、向法院提起诉讼等）来解决争议。在争议解决前，任何一方不得改变土地利用现状。最终的土地归属将根据确权结果或法院判决来确定。若争议解决后，土地被判定不属于您，则您可能面临被收回的风险。

5. 特殊情况的考虑

   • 若土地使用权已到期（如承包期满且未续包），或存在其他违法违规使用土地的情况（如未经允许擅自占用土地、改变土地用途等），则别人有权根据法律规定要求收回土地。此外，若因国家建设需要、自然灾害等不可抗力因素导致土地无法继续使用，也可能面临被收回的风险。

总结与建议：

• 鉴于您的情况涉及口头协议和长期使用，建议您尽快收集相关证据（如证人证言、付款记录、土地使用记录等）以证明您的土地使用权。
• 若土地存在权属争议或您担心未来可能面临被收回的风险，建议您及时咨询当地土地管理部门或寻求法律帮助，了解具体的法律程序和解决方案。
• 在未来，为了避免类似的法律风险，建议您在涉及土地交易时尽量采用书面合同形式，并明确双方的权利和义务。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。