村集体建设用地并非一定要用于农业建设，其使用方向需结合土地性质、规划用途及法律规定综合判断，具体分析如下：
- 土地性质决定基础用途
根据《土地管理法》，村集体建设用地包括宅基地、公益性公共设施用地（如学校、村委会）和经营性建设用地三类。其中：
- 宅基地仅限村民建住宅；
- 公益性用地需用于公共设施；
- 经营性建设用地（如废弃工厂、闲置土地）可依法用于工业、商业等非农建设，但需符合规划并履行审批程序。
- 规划用途是核心限制条件
即使土地属于村集体所有，其具体用途仍需以国土空间规划为准。例如：
- 若规划为工业用地，则可建设厂房；
- 若规划为商业用地，则可开发商铺；
- 仅当规划明确为农业设施用地时（如温室大棚、养殖场），才需用于农业，但此类用地通常不属于“建设用地”范畴，而是归类为农用地中的设施农用地。
- 法律对非农建设的特殊规定
- 经营性建设用地入市：符合规划的集体经营性建设用地，可通过出让、出租等方式交由单位或个人使用（如开发乡村旅游项目），但需经村民会议三分之二以上成员同意，并报县级政府批准。
- 农用地转用限制：若需将农用地转为建设用地，必须依法办理转用审批手续，且优先保障基础设施、公益事业等非农建设需求，农业用途并非强制要求。
总结：村集体建设用地的用途需以规划为准，法律未强制要求必须用于农业。若涉及非农建设，需确保符合规划、履行审批程序，并优先保障集体利益。如有具体用地项目，可进一步提供细节，我将结合案例为您分析合规路径。