如村民违法建养殖场且村书记未履行管理职责，村民可向乡、民族乡、镇的人民政府或者县级人民政府及其有关部门反映情况，要求调查处理。具体分析如下：

一. 村书记的职责与村民的反映权利

1. 根据《中华人民共和国村民委员会组织法》的相关规定，村民委员会成员应当履行法定义务，管理本村属于村民自治范围内的事务。若村民委员会或村民委员会成员不依法履行义务，乡、民族乡、镇的人民政府有权责令改正。
2. 在本题情境中，若村民违法建养殖场，且村书记未对此进行管理或纠正，实际上构成了村书记未履行其管理职责的情况。
3. 因此，其他村民有权向乡、民族乡、镇的人民政府或者县级人民政府及其有关部门反映这一情况，要求对相关违法行为进行调查处理。

二. 违法建筑的处理

1. 对于违法建筑，如养殖场，相关部门在接到反映后，应依法进行调查核实。
2. 若确认存在违法行为，相关部门有权责令违法者停止违法行为，并可能依法进行处罚，包括但不限于拆除违法建筑、罚款等。

三. 后续建议

1. 我建议村民在反映情况时，应提供尽可能详细的证据和信息，如违法建筑的具体位置、建设时间、规模等，以便相关部门能够更准确地进行调查处理。
2. 同时，村民也可以关注后续的处理进展，确保违法行为得到妥善处理。

综上所述，若村民违法建养殖场且村书记未履行管理职责，村民可通过向相关政府部门反映情况来维护村庄的合法权益和秩序。如有进一步需要，您可以继续咨询我。