高标准农田违法行为一般由农业农村主管部门处理，但根据违法类型不同，可能涉及多个部门联合执法或移送处理。具体分析如下：

1. 农业农村主管部门（核心执法部门）
   根据《中华人民共和国土地管理法》《基本农田保护条例》及农业农村部相关文件，农业农村部门是高标准农田建设、保护、利用的直接监管主体。若违法行为涉及：

   • 非法占用高标准农田建房、挖砂、采石等破坏种植条件的行为；
     
   • 擅自改变高标准农田用途（如转为非农用地）；
     
   • 未按规定对高标准农田进行维护、管护导致土地质量下降；
     农业农村部门有权责令改正、罚款，甚至移送司法机关追究刑事责任。

2. 自然资源主管部门（土地用途管制）
   若违法行为涉及：

   • 未经批准非法占用高标准农田（如未办理农用地转用审批手续）；
     
   • 违反土地利用总体规划擅自扩大建设规模；
     自然资源部门将依据《土地管理法》进行查处，包括责令退还土地、拆除违法建筑、恢复土地原状等。

3. 生态环境主管部门（污染防治）
   若高标准农田因工业污染、农业面源污染（如过量使用化肥农药）导致土壤环境质量下降，生态环境部门将依据《土壤污染防治法》介入，要求责任方采取修复措施或承担赔偿责任。

4. 水利主管部门（灌溉设施保护）
   若违法行为涉及破坏高标准农田的灌溉与排水设施（如渠道、泵站），水利部门将依据《水法》《防洪法》进行处罚，包括责令修复、罚款等。

5. 公安机关（刑事案件移送）
   若违法行为构成犯罪（如非法占用农用地罪、污染环境罪），农业农村或自然资源部门将案件移送公安机关立案侦查，依法追究刑事责任。

建议行动：
若发现高标准农田违法行为，可先向当地农业农村部门举报（12316热线），同时根据具体违法类型补充向自然资源（12336）、生态环保（12369）等部门反映。若涉及重大损失或刑事犯罪，可直接向公安机关报案。

如有进一步疑问，可直接向我咨询具体法律程序或证据收集要点。