农用地违法建筑的法律责任追究，主要由县级以上人民政府土地行政主管部门（通常是自然资源局）负责，情节严重构成犯罪的，则由司法机关追究刑事责任。以下从不同角度为您详细分析：

一、行政责任追究

1. 责任主体：根据《土地管理法》的相关规定，县级以上人民政府土地行政主管部门（如自然资源局）是农用地保护的主要监管部门，负责查处农用地上的违法建筑行为。

2. 责任形式：

   • 责令退还非法占用的土地：对于非法占用农用地进行建设的行为，土地行政主管部门有权责令违法者退还非法占用的土地。
   • 限期拆除或没收：在非法占用的土地上新建的建筑物和其他设施，如果符合土地利用总体规划，土地行政主管部门可以责令违法者限期拆除，恢复土地原状；如果不符合土地利用总体规划，则可能面临被没收的命运。
   • 罚款：除了上述措施外，土地行政主管部门还可以对违法者处以罚款，罚款的数额根据违法占用土地的面积和情节严重程度而定。

3. 执行流程：土地行政主管部门在发现农用地违法建筑后，会进行调查取证，确认违法事实后，会依法作出行政处罚决定，并监督违法者履行处罚决定。如果违法者拒不履行，土地行政主管部门可以申请人民法院强制执行。

二、刑事责任追究

1. 责任主体：当农用地违法建筑行为情节严重，构成犯罪时，将由司法机关（如公安局、检察院、法院）负责追究刑事责任。

2. 罪名与刑罚：

   • 非法占用农用地罪：根据《刑法》第三百四十二条的规定，违反土地管理法规，非法占用耕地、林地等农用地，改变被占用土地用途，数量较大，造成耕地、林地等农用地大量毁坏的，处五年以下有期徒刑或者拘役，并处或者单处罚金。
   • 其他相关罪名：如果违法建筑行为还涉及其他犯罪，如贪污贿赂、滥用职权等，还可能构成其他罪名，并受到相应的刑罚处罚。

3. 立案与侦查：司法机关在接到报案或发现犯罪线索后，会进行立案侦查，收集证据，确认犯罪事实后，会依法提起公诉或作出其他处理决定。

三、其他责任主体与情况

1. 乡镇政府与村委会：虽然乡镇政府和村委会不是农用地违法建筑的主要监管部门，但它们在土地管理和规划中也扮演着重要角色。如果乡镇政府或村委会在农用地违法建筑行为中存在失职或渎职行为，也可能面临相应的行政责任或法律责任。

2. 共同违法者：如果农用地违法建筑行为是由多人共同实施的，那么所有共同违法者都将承担相应的法律责任。在追究法律责任时，会根据各共同违法者在违法行为中的地位和作用进行区分和认定。

建议：如果您发现农用地违法建筑行为，可以向当地土地行政主管部门举报，由其依法进行查处。如果违法行为情节严重，构成犯罪，还可以向司法机关报案，由其依法追究刑事责任。如果您在农用地使用或管理方面遇到法律问题，欢迎直接向我咨询，我会根据您的具体情况提供专业的法律建议。