核心结论：您可通过协商、行政投诉或法律诉讼途径追回土地承包经营权，具体需结合土地闲置原因、合同约定及对方行为性质综合判断。以下是分情况说明：

一、若土地闲置因您自身原因导致（如未及时开发）

1. 合同效力优先
   需先审查《土地承包合同》中是否约定“闲置超X年视为自动终止”或“发包方有权收回”等条款。若有明确约定，您可能面临违约风险，需先与发包方协商补救措施（如支付违约金、限期开发），再向实际种树人主张权利。

2. 行政干预路径
   根据《农村土地承包法》第64条，若土地闲置满2年，发包方有权要求终止合同并收回土地。您可向乡镇政府或农村土地承包仲裁委员会申请调解，要求发包方履行收回程序，再凭行政决定向种树人追偿。

二、若土地闲置因发包方或第三方原因导致（如未提供开发条件）

1. 主张合同继续履行
   若闲置非您过错（如发包方未协调基础设施、政策限制等），您可要求发包方排除障碍并继续履行合同。同时，向种树人发出《限期移除通知书》，明确其行为构成侵权，需恢复土地原状。

2. 诉讼追偿损失
   若种树人拒绝移除，您可起诉其侵犯土地承包经营权，要求：

   • 停止侵害（移除树木）；
     
   • 赔偿占用期间的损失（按当地土地流转价格或实际收益计算）；
     
   • 若树木导致土地肥力下降，可要求生态修复费用。

三、关键证据收集建议

1. 权属证明：土地承包合同、经营权证、缴费凭证；
   
2. 闲置原因证据：如政府文件、沟通记录、照片等证明非您过错；
   
3. 侵权证据：种树时间、树木数量、对方身份信息（可通过村委会协助调查）。

四、风险提示

• 若土地已被依法征收或流转给第三人，需先确认当前权属状态；
  
• 树木若已成材，移除可能涉及青苗补偿，需在诉讼中主张由对方承担。

行动建议：立即向种树人发送书面通知（留存邮寄凭证），同时向村委会申请调解。若对方拒不配合，7日内携带证据材料向我咨询具体诉讼策略，避免超过3年诉讼时效。