违法用地上的违法建设，一般由县级以上人民政府土地行政主管部门负责查处。以下是对这一问题的详细分析：
一、法律依据
根据《中华人民共和国土地管理法》的相关规定，对于违法用地和违法建设行为，县级以上人民政府土地行政主管部门具有查处的职责。具体来说，该法第七十七条规定：“未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府土地行政主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款；对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予处分；构成犯罪的，依法追究刑事责任。”
二、查处主体与职责
县级以上人民政府土地行政主管部门：这是主要的查处主体，负责发现、调查和处理违法用地和违法建设行为。它们有权责令退还非法占用的土地，限期拆除或没收在非法占用的土地上新建的建筑物和其他设施，并可以并处罚款。
其他相关部门：在特定情况下，如涉及城乡规划、环境保护等方面的违法建设，城乡规划主管部门、环境保护部门等也可能参与查处工作。但这些部门通常是在土地行政主管部门的牵头或协调下进行工作。
三、查处流程
发现与立案：土地行政主管部门通过巡查、举报等方式发现违法用地和违法建设行为后，会进行立案调查。
调查取证：在调查过程中，土地行政主管部门会收集相关证据，包括现场勘查记录、照片、视频、证人证言等，以证明违法行为的存在和性质。
作出处理决定：根据调查结果，土地行政主管部门会依法作出处理决定，如责令退还土地、限期拆除建筑物、没收建筑物并罚款等。
执行与监督：处理决定作出后，土地行政主管部门会负责执行，并监督违法行为的整改情况。如果违法行为人拒不执行处理决定，土地行政主管部门可以依法申请人民法院强制执行。
四、特殊情况与注意事项
历史遗留问题：对于一些历史遗留的违法用地和违法建设问题，处理时可能需要考虑当时的法律法规和政策环境，以及违法行为的性质、情节和社会影响等因素。
复杂案件：对于涉及多个部门、多个法律法规或情节复杂的违法用地和违法建设案件，可能需要成立联合调查组或专家委员会进行调查和处理。
公众参与：在查处违法用地和违法建设行为时，土地行政主管部门应积极听取公众意见，保障公众的知情权和参与权。
如果您遇到了违法用地上的违法建设问题，或者对此有任何疑问，都可以直接向我咨询。我会根据您的具体情况，提供专业的法律意见和帮助。