违法用地整改通常由自然资源主管部门（原国土资源部门）牵头负责，但具体整改部门需根据违法类型、土地性质及地方政策综合判断。以下是详细分析：

1. 自然资源主管部门（核心部门）
   根据《土地管理法》及《土地管理法实施条例》，自然资源主管部门是土地资源管理的核心部门，负责查处违法用地行为（如未经批准占用土地、改变土地用途等）。其职责包括：

   • 立案调查违法用地行为；
     
   • 责令限期整改（如退还土地、恢复原状）；
     
   • 作出行政处罚（如罚款、没收违法所得）；
     
   • 监督整改落实情况。
     若违法用地涉及农用地转用、未批先建等情形，自然资源部门是首要整改责任主体。

2. 农业农村部门（涉及农村土地时）
   若违法用地涉及农村宅基地、承包地等，农业农村部门需配合自然资源部门进行整改。例如：

   • 查处农村非法占用宅基地建房行为；
     
   • 监督农村土地承包经营权流转中的违法问题；
     
   • 参与农村乱占耕地建房专项整治。
     根据《农村土地承包法》及中央关于农村乱占耕地建房整治文件，农业农村部门与自然资源部门需联动执法。

3. 生态环境部门（涉及污染或生态破坏时）
   若违法用地导致土壤污染、生态破坏（如非法采矿、挖沙取土），生态环境部门需介入：

   • 责令修复受损生态环境；
     
   • 对污染行为进行处罚；
     
   • 监督环境恢复治理进度。
     依据《环境保护法》及《土壤污染防治法》，生态环境部门对土地生态损害有监管权。

4. 乡镇政府/街道办事处（基层执行主体）
   根据属地管理原则，乡镇政府或街道办事处需协助上级部门落实整改措施，例如：

   • 拆除违法建筑；
     
   • 恢复土地原状；
     
   • 监督当事人履行整改义务。
     实践中，基层政府常作为整改行动的具体执行者，但需在上级部门指导下开展工作。

5. 其他部门（特殊情形）

   • 林业部门：若违法用地涉及林地（如非法占用林地建房），林业部门需参与查处；
     
   • 水利部门：若占用河道管理范围土地，水利部门需介入；
     
   • 城市管理部门：若违法用地位于城市规划区内且涉及无证建设，城管部门可能参与拆除。
     

建议：若您遇到违法用地整改问题，可按以下步骤处理：

1. 确认违法用地类型（如农用地、建设用地、未利用地）；
   
2. 查询当地政府发布的“违法用地整改责任分工文件”（部分地区会明确部门职责）；
   
3. 向自然资源主管部门投诉或申请信息公开，要求其履行监管职责；
   
4. 若涉及多部门职责交叉，可要求地方政府协调联动执法。
   

如有具体案件细节，可进一步向我咨询，我会结合地方政策为您分析整改部门及程序。