违法用地整改通常由自然资源主管部门（原国土资源部门）负责管理，但根据具体情况可能涉及多个部门的协同监管。以下是具体分析：

1. 自然资源主管部门的核心职责
   根据《土地管理法》及相关法规，自然资源主管部门是违法用地整改的主要责任部门，负责土地资源的统一管理和监督。其职责包括：

   • 发现、调查并认定违法用地行为（如未经批准占用土地、改变土地用途等）；
     
   • 责令违法主体限期整改（如退还土地、恢复原状、补办手续等）；
     对拒不整改或情节严重的，依法作出行政处罚（如罚款、没收违法所得等）。
     

2. 其他部门的协同监管
   根据违法用地的具体情形，可能涉及以下部门的联合执法：

   • 农业农村部门：若违法用地涉及农村宅基地、耕地“非农化”“非粮化”等问题，农业农村部门需参与监管；
     
   • 生态环境部门：若违法用地导致土地污染或生态破坏，生态环境部门需介入环境修复和处罚；
     
   • 城市管理部门：若违法用地涉及城市规划区内的建设行为（如未经许可搭建建筑物），城市管理部门需配合查处；
     
   • 公安机关：若违法用地行为涉嫌犯罪（如非法占用农用地罪），公安机关需立案侦查。
     

3. 属地政府的统筹责任
   地方人民政府（尤其是乡镇政府）对辖区内的土地管理负有属地责任，需协调各部门落实整改措施，并监督违法主体履行整改义务。

建议：若您遇到违法用地整改问题，可先向当地自然资源主管部门反映情况；若涉及多部门职责，可要求属地政府牵头协调。如需进一步分析具体情形或法律程序，欢迎随时向我咨询。