非法卸土行为的管理主要涉及县级以上人民政府自然资源主管部门，同时根据具体情况，农业农村主管部门和综合执法部门也可能参与管理。以下是对这一问题的详细分析：
县级以上人民政府自然资源主管部门：
- 主要职责：该部门是非法卸土行为的主要管理主体，负责监督和查处违反土地利用总体规划，擅自将农用地改为建设用地或其他非法占用土地的行为，包括非法卸土导致的土地破坏或非法占用。
- 法律依据：根据《中华人民共和国土地管理法》第七十七条及相关实施条例，自然资源主管部门有权对非法占地行为进行处罚，包括责令退还土地、恢复原状、罚款等。
农业农村主管部门：
- 主要职责：若非法卸土行为涉及破坏耕地，特别是基本农田，农业农村主管部门将参与监督管理和执法工作，保护耕地资源。
- 法律依据：依据《中华人民共和国土地管理法》第三十七条及《基本农田保护条例》，农业农村主管部门对破坏耕地的行为有查处权。
综合执法部门（如城市管理综合执法部门）：
- 主要职责：在特定区域或针对特定类型的非法卸土行为，综合执法部门可能根据地方规定和改革举措进行查处，集中行使相关行政处罚权。
- 法律依据：地方性《城市管理综合执法条例》等可能赋予综合执法部门对非法卸土等行为的查处权。
处理措施：
对于非法卸土行为，相关部门将采取以下处理措施：
- 责令停止违法行为，恢复土地原状。
- 对违法行为人处以罚款，罚款额根据相关规定执行。
- 若行为构成犯罪，将依法追究刑事责任。
举报途径：
公众若发现非法卸土行为，可以向县级以上人民政府自然资源主管部门进行举报，以便及时制止和处理违法行为。
综合分析：
非法卸土行为不仅违反了国家土地管理法规，还可能对土地资源造成破坏，影响生态环境和农业生产。因此，各级政府和相关部门应加强协作，共同打击非法卸土行为。同时，公众也应积极参与监督，通过合法途径举报非法卸土行为，共同维护土地资源的合法权益和社会秩序。
如有任何关于非法卸土或其他土地管理方面的法律问题，可以直接向我咨询。