养殖建设用地一般不可以直接用于建设工厂。以下从几个方面进行详细分析：

一、土地用途管制原则

根据我国土地管理法律、法规的规定，土地用途受到严格管制。养殖建设用地，顾名思义，是专门用于养殖业的土地，其用途在规划时已经明确。如果要将养殖建设用地转变为工厂建设用地，必须经过土地用途变更的法定程序，包括申请、审批等环节，且需符合土地利用总体规划和城乡规划的要求。

二、土地用途变更的法定程序

1. 申请：土地使用者需要向当地土地管理部门提出土地用途变更的申请，说明变更的理由、用途、面积等具体情况。
2. 审批：土地管理部门会对申请进行审查，包括核实土地现状、评估变更对周边环境的影响等。如果申请符合相关规定和规划要求，土地管理部门会批准变更，并颁发新的土地使用证或相关证明文件。
3. 缴纳费用：在土地用途变更过程中，土地使用者可能需要缴纳一定的费用，如土地出让金、土地增值费等。

三、未经批准擅自变更土地用途的法律后果

如果未经批准擅自将养殖建设用地用于建设工厂，将面临一系列法律后果，包括但不限于：

1. 行政处罚：土地管理部门有权对违法行为进行处罚，如责令停止违法行为、限期拆除违法建筑、恢复土地原状等，并可能处以罚款。
2. 民事责任：如果因擅自变更土地用途给他人造成损失，土地使用者可能需要承担民事赔偿责任。
3. 刑事责任：在严重情况下，如涉及非法占用农用地等犯罪行为，土地使用者还可能面临刑事责任。

四、特殊情况下的例外

虽然一般情况下养殖建设用地不能直接用于建设工厂，但在某些特殊情况下，如当地政府为了推动经济发展或实施特定项目而进行的土地调整，可能允许在一定条件下将养殖建设用地转变为工厂建设用地。然而，这种情况需要严格的审批程序和符合相关政策要求。

建议：如果您有将养殖建设用地转变为工厂建设用地的需求，建议您先咨询当地土地管理部门或相关政府部门，了解具体的政策要求和审批程序。同时，您也可以向我咨询相关法律问题，我会根据您的具体情况提供专业的法律建议。