针对村委会以土地出资合伙建厂后土地一直闲置的问题，结合相关法律规定及实务操作，处理方式如下：

1. 核查合伙协议条款
   首先需审查村委会与合伙人签订的《合伙协议》或《合作协议》，重点核查以下内容：

   • 土地用途约定：协议是否明确约定土地用于建设工厂、生产设施等具体用途；
     
   • 闲置责任条款：是否约定土地闲置的违约责任（如违约金、收回土地等）；
     
   • 开发期限条款：是否约定土地开发建设的最长期限（如“自协议签订之日起X年内完成建设”）。
     若协议有明确约定，村委会可依据协议要求合伙人履行义务，或通过诉讼/仲裁追究其违约责任。

2. 依据《土地管理法》主张权利
   根据《土地管理法》第三十八条：

   “禁止任何单位和个人闲置、荒芜耕地。已经办理审批手续的非农业建设占用耕地，一年内不用而又可以耕种并收获的，应当由原耕种该幅耕地的集体或者个人恢复耕种，也可以由用地单位组织耕种；一年以上未动工建设的，应当按照省、自治区、直辖市的规定缴纳闲置费；连续二年未使用的，经原批准机关批准，由县级以上人民政府无偿收回用地单位的土地使用权。”
   若土地为耕地：村委会可向县级自然资源部门举报，要求对合伙人征收闲置费或收回土地；
   若土地为非耕地：虽无强制收回规定，但可依据《民法典》合同编主张合伙人构成根本违约，要求解除合伙关系并返还土地。

3. 通过行政程序推动解决

   • 向乡镇政府或县级自然资源部门反映：要求其督促合伙人开发利用土地，或依据《闲置土地处置办法》启动调查程序；
     
   • 申请土地用途变更：若合伙人确无开发能力，可协商将土地用途变更为其他合法用途（如仓储、物流等），但需重新办理审批手续。

4. 民事救济途径

   • 主张解除合伙关系：若合伙人长期闲置土地导致合伙目的无法实现，村委会可依据《民法典》第九百七十六条要求解除合伙协议，并要求合伙人赔偿损失；
     
   • 行使优先购买权：若合伙人拟转让股权或合伙份额，村委会可依据协议或法律规定行使优先购买权，自行开发或引入新合伙人。

5. 风险提示

   • 土地权属风险：若土地已登记至合伙人名下，需先通过诉讼确认权属后再主张权利；
     
   • 协议效力风险：若合伙协议未经村民会议或村民代表会议决议，可能因违反《村民委员会组织法》被认定无效，需提前补全程序或调整策略。

建议行动步骤：

1. 收集合伙协议、土地权属证明、闲置证据（如照片、政府文件等）；
   
2. 向合伙人发函催告开发，并留存送达证据；
   
3. 同步向县级自然资源部门申请立案调查；
   
4. 根据调查结果及协议约定，选择行政或司法途径解决。
   

如需进一步分析协议条款或制定具体方案，可提供详细资料后继续咨询。