结论：您能否要回土地使用权，需根据具体情况判断，主要涉及土地权属、邻居行为性质及诉讼时效等因素。以下从不同角度为您详细分析：
一、土地权属是基础前提
若土地确权归您所有：
- 根据《民法典》第二百三十五条，无权占有不动产或动产的，权利人可请求返还原物。邻居未经您同意在您地里栽树20年，属于无权占有，您有权要求其返还土地使用权，并可主张排除妨碍（如移除树木）。
- 例外情形：若邻居能证明其栽树行为基于历史习惯、村规民约或您曾默许（如长期未提出异议），可能构成“善意占有”，但您仍可基于物权主张返还，仅需在诉讼中承担更多举证责任。
若土地权属存在争议：
- 需先通过行政确权程序（如向乡镇政府或自然资源部门申请调解、确权）明确土地归属。若确权后归您，再按上述无权占有处理；若归邻居，则您无权主张返还。
二、邻居行为性质影响责任
若邻居行为构成侵权：
- 邻居未经许可占用土地栽树，侵犯您的物权，您可依据《民法典》第一千一百六十五条要求其停止侵害、恢复原状，并赔偿损失（如土地收益损失、移除树木费用等）。
- 诉讼时效问题：根据《民法典》第一百八十八条，向法院请求保护民事权利的诉讼时效为3年，自您知道或应当知道权利受损之日起算。但若邻居行为持续存在（如树木未移除），诉讼时效可能未起算或中断，您仍可主张权利。
若邻居行为构成相邻关系纠纷：
- 若树木影响您土地正常使用（如遮挡阳光、根系破坏土壤），您可依据《民法典》第二百八十八条要求邻居排除妨碍，但需证明损害与树木存在因果关系。
三、实务建议
收集证据：
- 土地权属证明（如土地承包经营权证、宅基地使用证）；
- 邻居栽树的现场照片、视频；
- 证人证言（如村民、村干部证明土地归属及邻居行为）；
- 损失证明（如土地收益减少的记录、移除树木的报价单）。
协商或调解：
- 可先与邻居沟通，要求其自行移除树木并返还土地；若协商无果，可申请村委会、乡镇司法所调解。
诉讼途径：
- 若调解不成，可向法院提起物权保护纠纷之诉，主张返还土地使用权、排除妨碍及赔偿损失。
四、风险提示
- 若土地长期未确权或您未及时主张权利，可能面临举证困难或诉讼时效抗辩风险，建议尽快行动。
- 若邻居主张“历史形成”或“村集体分配”，需核实其依据是否合法有效，避免误判。
总结：您能否要回土地使用权，关键在于土地权属是否明确及邻居行为是否构成侵权。建议先收集证据、协商调解，若无效则通过法律途径解决。如有进一步疑问，可直接向我咨询。