违法用地处罚的主体主要是县级以上人民政府自然资源主管部门。以下是对这一问题的详细分析：

一、处罚主体的法律依据

根据《中华人民共和国土地管理法》及相关法律法规的规定，县级以上人民政府自然资源主管部门是负责土地管理和监督的主要部门，拥有对违法用地行为进行处罚的法定职权。这些部门在发现违法用地行为后，会依法进行调查、取证，并根据违法情节和后果作出相应的处罚决定。

二、处罚主体的具体职责

1. 责令停止违法行为：一旦发现违法用地行为，自然资源主管部门会立即责令当事人停止正在进行的违法行为，以防止破坏进一步扩大。

2. 限期改正与治理：对于违法行为导致土地利用不符合规定的情况，自然资源主管部门会要求当事人在规定期限内调整土地使用方式，对被破坏的土地进行治理，以恢复到符合规定的状态。

3. 行政处罚：

   • 限期拆除：对于不符合土地利用总体规划，擅自改变农用地为建设用地的违法建筑，自然资源主管部门会责令当事人在规定期限内自行拆除，恢复土地原状。
   • 没收建筑物和其他设施：若违法用地行为符合土地利用总体规划但未办理合法手续，自然资源主管部门有权没收非法占用的土地上新建的建筑物及其他设施。
   • 罚款：根据违法情节的轻重，自然资源主管部门还会对违法当事人处以罚款，罚款金额依据相关法律法规，按违法占用土地面积、性质等因素确定。

4. 行政处理：

   • 收回土地使用权：对于以出让方式取得土地使用权后满二年未动工开发，或以欺骗等手段非法取得土地使用权的，自然资源主管部门可依法收回土地使用权。
   • 闲置土地处置：土地闲置满一年不满两年的，将征缴土地闲置费；闲置满两年且非因不可抗力或政府原因造成的，将无偿收回国有建设用地使用权。

5. 刑事责任追究：在严重违法使用土地的情形下，如非法占用农用地数量较大，造成大量毁坏，可能构成非法占用农用地罪，自然资源主管部门会将案件移送司法机关，依法追究刑事责任。

三、特殊情形下的处罚主体

• 无权或超越权限批准占用土地：无权批准征收、使用土地的单位或个人非法批准占用土地的，或超越批准权限非法批准的，其批准文件无效。对直接负责的主管人员和其他直接责任人员，将依法给予处分；构成犯罪的，依法追究刑事责任。此时，处罚主体不仅包括自然资源主管部门，还可能涉及纪检监察机关和司法机关。

• 买卖或以其他形式非法转让土地：对于此类违法行为，自然资源主管部门将没收违法所得，并处罚款。对直接负责的主管人员和其他直接责任人员，也将依法给予处分；构成犯罪的，依法追究刑事责任。

四、建议与总结

为避免不必要的法律风险和经济损失，建议所有单位和个人在使用土地时务必遵守相关法律法规，确保合法合规地使用土地资源。如果面临违法用地处罚或相关法律问题，可以直接向我咨询，我会根据具体情况提供专业的法律建议和帮助。