根据《土地管理法》及相关规定，村委会无权仅因土地多年不耕种就直接收回土地，但特定情形下土地可能被收回或调整。具体分析如下：

1. 非闲置土地情形
   若土地虽未耕种，但承包方通过转包、出租等方式流转土地经营权，或存在其他合理理由（如短期休耕、自然灾害导致暂时无法耕种），则不属于“闲置土地”。此时村委会无权收回土地，承包方仍享有土地承包经营权。

2. 闲置土地的认定与处理
   根据《土地管理法》第三十八条，禁止任何单位和个人闲置、荒芜耕地。若承包方连续两年以上未使用土地，且无正当理由（如未流转、未采取改良措施等），可能面临以下后果：

   • 发包方（村委会）可要求承包方缴纳闲置费；
     
   • 若连续两年未使用且经县级政府批准，发包方有权收回土地，但需注意：
     
     • 收回的土地应优先用于调整给其他农户或集体经济组织成员；
       
     • 若承包方为基本农田保护主体（如专业大户、合作社），收回程序需更严格。

3. 特殊情形下的调整
   根据《农村土地承包法》第二十八条，在承包期内，因自然灾害严重毁损等特殊情形需适当调整承包地的，须经本集体经济组织成员的村民会议三分之二以上成员或三分之二以上村民代表同意，并报乡（镇）政府和县级政府农业等主管部门批准。单纯因不耕种不属于法定调整理由。

建议：

• 若村委会以“不耕种”为由要求收回土地，承包方应要求其出具书面通知，并核实是否满足法定条件（如闲置两年以上、已履行报批程序）；
  
• 若土地被非法收回，可向乡（镇）政府或县级农业农村部门投诉，或通过诉讼确认承包合同效力。
  

如有进一步疑问，可直接向我咨询具体操作流程。