非法取土行为的管理主要涉及县级以上人民政府自然资源主管部门，同时根据具体情况，农业农村主管部门、综合执法部门以及纪检监察、公安机关等也可能参与监管和处理。以下是详细分析：

1. 县级以上人民政府自然资源主管部门：

   • 主要职责：自然资源主管部门是非法取土行为的主要监管部门，负责查处违反土地利用总体规划、擅自改变土地用途等违法行为，包括非法取土。
   • 法律依据：《中华人民共和国土地管理法》第七十七条明确规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府自然资源主管部门责令退还非法占用的土地，并可进行相应处罚。

2. 农业农村主管部门：

   • 主要职责：若非法取土行为涉及破坏耕地等侵害耕地保护的情况，农业农村主管部门会参与监督管理和执法工作。
   • 法律依据：《中华人民共和国土地管理法》第三十七条禁止占用耕地建窑、建坟或者擅自在耕地上建房、挖砂、采石、采矿、取土等，农业农村主管部门在耕地保护方面负有重要职责。

3. 综合执法部门（如城市管理综合执法部门）：

   • 主要职责：在特定区域或针对特定类型的非法取土行为，综合执法部门可能根据地方规定和改革举措进行查处，集中行使相关行政处罚权。
   • 法律依据：地方性《城市管理综合执法条例》等可能赋予综合执法部门在非法取土等方面的执法权。

4. 纪检监察、公安机关等：

   • 主要职责：若非法取土行为涉及党员干部违规违纪或构成犯罪，纪检监察部门和公安机关将依法介入调查和处理。
   • 法律依据：《中华人民共和国监察法》和《中华人民共和国刑法》等相关法律法规为纪检监察和公安机关提供了执法依据。

对于非法取土行为的处理措施：

• 自然资源主管部门将责令违法行为人退还非法占用的土地，恢复原状，并可能处以罚款。
• 若非法取土行为构成犯罪，将依法追究刑事责任。
• 涉及党员干部违规违纪的，将依法移送纪检监察部门处理。

举报途径：

• 发现非法取土行为时，公众可以向县级以上人民政府自然资源主管部门进行举报，以便及时制止和处理违法行为。

法律建议：

• 若您发现非法取土行为，建议及时向相关部门举报，以维护土地资源的合法权益和社会秩序。
• 若您自身涉及非法取土行为，建议立即停止违法行为，并主动向相关部门说明情况，争取从轻处理。

综上所述，非法取土行为的管理涉及多个部门，需要各部门协同合作，共同打击非法取土行为。若您有任何法律问题或需要进一步的法律建议，请直接向我咨询。