土地违法后，一般由县级以上人民政府土地行政主管部门负责整改，依据是《中华人民共和国土地管理法》的相关规定。以下从不同角度为您详细分析：

1. 整改主体：

   • 根据《中华人民共和国土地管理法》第六十七条：“县级以上人民政府自然资源主管部门对违反土地管理法律、法规的行为进行监督检查。” 这表明，县级以上人民政府土地行政主管部门（通常指自然资源局或国土资源局）是土地违法行为的监督检查和整改主体。
   • 在实际操作中，这些部门会依法对土地违法行为进行调查、取证，并根据违法情节的轻重，采取相应的整改措施，如责令停止违法行为、限期拆除、恢复土地原状等。

2. 整改依据：

   • 法律依据：除了上述提到的《中华人民共和国土地管理法》外，还有《中华人民共和国土地管理法实施条例》等相关法律法规，为土地违法行为的整改提供了明确的法律依据。
   • 事实依据：土地行政主管部门在整改过程中，会依据违法事实、证据以及相关法律法规的规定，确定整改的具体内容和要求。例如，对于非法占用土地的行为，会要求违法者限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状。

3. 特殊情况下的整改主体：

   • 在某些特殊情况下，如农村集体土地上的违法建筑，除了土地行政主管部门外，还可能涉及乡镇人民政府的参与。根据《中华人民共和国城乡规划法》第六十五条：“在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。” 这表明，在乡、村庄规划区内，乡镇人民政府也有权对土地违法行为进行整改。

4. 整改措施与程序：

   • 土地行政主管部门在发现土地违法行为后，会依法进行调查取证，并根据违法情节的轻重，采取相应的整改措施。整改措施可能包括责令停止违法行为、限期拆除、恢复土地原状、罚款等。
   • 在整改过程中，土地行政主管部门会遵循法定程序，如发出整改通知书、听取违法者的陈述和申辩、进行听证等，确保整改的合法性和公正性。

建议：

• 如果您发现土地违法行为，可以向当地县级以上人民政府土地行政主管部门举报，由他们依法进行整改。
• 如果您是土地违法行为的当事人，应积极配合土地行政主管部门的整改工作，按照要求限期整改，以避免更严重的法律后果。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询，我会根据您的具体情况提供详细的法律建议。