农村违法建筑的拆除工作是一个涉及多个政府部门的综合性任务，具体由哪个部门负责拆除，取决于违法建筑的性质、地点以及所违反的法律法规。以下是对各部门职责的详细阐述：

1. 乡、镇人民政府：

   • 在农村地区，乡、镇人民政府对农村自建房具有属地管理职责，负责具体的巡查、制止和报告违建行为。
   • 对于未依法取得乡村建设规划许可证或未按规划进行建设的违法建筑，乡、镇人民政府有权责令停止建设、限期改正；逾期不改正的，可以组织拆除。

2. 县级以上人民政府自然资源主管部门（包括国土资源局）：

   • 该部门负责土地资源的管理和监督，审查建房是否符合土地利用规划等相关规定。
   • 对于非法占用土地、擅自改变土地用途等违建行为，自然资源主管部门有权责令退还非法占用的土地，并限期拆除在非法占用的土地上新建的建筑物和其他设施。

3. 城乡规划主管部门：

   • 城乡规划主管部门从专业规划角度对农村自建房进行管理和监督。
   • 对于未取得建设工程规划许可证或未按规划进行建设的行为，该部门有权责令停止建设，并采取限期改正、罚款或限期拆除等措施。

4. 农业农村部门：

   • 农业农村部门主要针对涉及农村宅基地方面的违建问题进行管理和处罚。
   • 对于农户未经批准或采取欺骗手段骗取批准，非法占用土地建住宅的，农业农村部门有权责令退还非法占用的土地，并限期拆除在非法占用的土地上新建的房屋。

5. 其他特定领域的主管部门：

   • 如违法建筑位于河道管理范围内，则由水行政主管部门依据水法律法规进行处理和拆除。
   • 如违法建筑位于公路建筑控制区内，则由交通运输主管部门或公路管理机构依法处置。

在实际操作中，各部门之间会进行紧密的协作与配合，以确保违法建筑得到及时有效的处理。例如，当城乡规划主管部门作出责令停止建设或限期拆除的决定后，若当事人不执行，建设工程所在地县级以上地方人民政府可以责成有关部门采取查封施工现场、强制拆除等措施。必要时，人民政府还可以依法申请人民法院强制执行。

综上所述，农村违法建筑的拆除工作需要多部门的协作与配合。各部门应依据各自职责和权限，共同发力，以有效遏制和打击农村违建行为，维护农村建设的秩序和公共利益。