您有权收回自己闲置但被他人种植的土地，但需根据具体情况采取合法合规的方式处理，避免引发纠纷。 以下是具体分析和建议：

1. 确认土地权属与承包/流转关系
   首先需明确土地的权属状态：

   • 若土地承包经营权仍登记在您名下（如未签订流转合同或合同已到期），您作为权利人有权直接收回土地，但需提前通知实际耕种人，并给予合理期限清理地上作物（如农作物、附着物）。
     
   • 若您曾将土地流转给他人（如出租、转包），需核查流转合同条款：
     
     • 合同未到期：需与对方协商解除合同，或按合同约定处理（如支付违约金后收回）；
       
     • 合同已到期：对方无权继续占用，您可要求其返还土地，并清理地上物。
       

2. 协商优先，避免冲突
   建议先与实际耕种人沟通，说明收回土地的原因（如自用、重新流转等），并协商补偿方案（如对地上作物按市场价值补偿）。协商过程中注意保留书面记录（如微信、短信、录音），以备后续维权使用。

3. 通过法律途径解决争议
   若协商无果，可采取以下措施：

   • 向村委会/农村土地承包仲裁委员会申请调解或仲裁：
     根据《农村土地承包法》，土地承包经营纠纷可申请调解或仲裁，仲裁结果具有法律效力。
     
   • 向法院提起诉讼：
     若对方拒不返还土地，您可起诉要求其停止侵害、返还土地，并赔偿损失（如土地闲置期间的收益损失）。诉讼时需提供土地权属证明（如承包合同、土地证）、对方占用土地的证据（如照片、证人证言）等。

4. 注意事项

   • 避免自行强行收回：若采取断水、断电、毁坏作物等过激行为，可能涉嫌侵权，需承担赔偿责任。
     
   • 关注土地现状：若土地被改变用途（如建房、挖塘），可能涉及违法用地，需向国土部门举报，由行政机关处理后再主张权利。
     

行动建议：

1. 整理土地权属文件（如承包合同、土地证）；
   
2. 与对方协商并记录过程；
   
3. 若协商不成，尽快申请调解/仲裁或起诉。
   

如有进一步疑问（如具体流程、证据收集等），可直接向我咨询，我会结合您的实际情况提供详细方案。