土地非粮化主要由县级以上人民政府自然资源主管部门和农业农村主管部门管理。

具体来说，根据《中华人民共和国土地管理法》及相关法规，对于占用耕地进行非粮化行为，如擅自将耕地转为林地、草地、园地等其他农用地，或者违反规定在耕地上进行非农业建设等，县级以上人民政府自然资源主管部门和农业农村主管部门有权责令限期改正或治理，并可以依法处以罚款。如果构成犯罪，还会依法追究刑事责任。

因此，如果遇到土地非粮化的问题，可以向当地的自然资源主管部门或农业农村主管部门咨询或举报。