不可以直接收回，需根据具体情况通过合法途径解决。以下是具体分析：

1. 土地权属明确且你有合法凭证的情况
   如果土地确权证明（如土地承包经营权证、宅基地使用权证等）明确显示该地块属于你，且对方未经合法程序占用种植，此时对方的行为构成侵权。但直接收回可能引发冲突或破坏农作物，建议通过以下步骤处理：

   • 协商解决：优先与对方沟通，要求其停止侵权并恢复土地原状，可要求赔偿占用期间的损失（如土地收益）。
     
   • 行政投诉：若协商无果，可向当地农业农村局、自然资源局或乡镇政府反映，申请调解或查处非法占用行为。
     
   • 民事诉讼：若行政途径未果，可向法院提起“物权保护纠纷”诉讼，要求对方返还土地、赔偿损失，并申请法院强制执行。

2. 土地权属存在争议的情况
   如果双方对土地归属有争议（如未确权、边界模糊或历史遗留问题），直接收回可能被认定为侵权。此时需先通过以下方式明确权属：

   • 申请确权：向当地政府或自然资源部门申请土地确权，由行政部门出具权属证明。
     
   • 行政复议或诉讼：若对确权结果不服，可申请行政复议或提起行政诉讼，通过法律程序确认土地归属。
     
   • 暂缓处理：在权属争议解决前，避免单方面行动，防止矛盾升级。

3. 对方种植行为涉及特殊法律关系的情况

   • 租赁或借用关系：若对方是基于租赁、借用等合法关系占用土地，需先审查合同是否到期或对方是否违约。若合同已到期或对方违约，可要求其返还土地；若合同未到期，需通过协商或诉讼解除合同后收回。
     
   • 善意取得或历史使用：若对方长期使用土地且已形成稳定的生产生活关系（如村集体默认、历史习惯等），可能涉及“善意取得”或“历史遗留问题”，需结合具体证据和地方政策处理，建议咨询律师制定策略。

行动建议：

1. 收集证据：土地权属证明、对方占用种植的证据（如照片、视频、证人证言等）、沟通记录等。
   
2. 咨询律师：根据土地性质（如承包地、宅基地、自留地等）和具体情节，制定合法合规的解决方案。
   
3. 避免冲突：处理过程中保持冷静，通过法律途径解决，防止因直接收回引发肢体冲突或财产损失。
   

如有进一步疑问，可直接向我咨询，我会结合具体细节为你详细分析。