针对“建设用地违规养殖是谁负责管理”的问题，以下是我的详细解答：

结论：建设用地违规养殖的管理责任，主要由县级以上人民政府农业农村主管部门负责，同时涉及自然资源主管部门等相关部门的协同管理。

分析说明：

1. 主要管理部门：

   • 根据相关法律法规，县级以上人民政府农业农村主管部门是负责畜牧业监督管理的主要部门，包括养殖场的设立、养殖行为的规范等。因此，对于建设用地上的违规养殖行为，农业农村主管部门负有主要的管理责任。

2. 协同管理部门：

   • 自然资源主管部门也参与违规养殖的管理。因为养殖行为涉及土地使用，如果养殖用地未经批准或者违反了土地管理法规，自然资源主管部门有权进行查处。
   • 此外，环保、市场监管等部门也可能根据具体情况参与违规养殖的管理，如养殖造成的环境污染、销售的畜禽产品不符合质量标准等。

3. 管理措施：

   • 对于违规养殖行为，相关部门可以采取多种管理措施，包括但不限于责令停止违法行为、限期改正、罚款、没收违法所得等。
   • 在某些严重情况下，如造成重大环境污染或公共安全事件，还可能面临刑事责任。

综上所述，建设用地违规养殖的管理责任主要由县级以上人民政府农业农村主管部门承担，但同时也需要自然资源主管部门等相关部门的协同配合。如果您面临相关问题或需要进一步的法律咨询，请直接向我提问，我将为您提供专业的法律帮助。