根据《土地管理法》第八十三条，对于违反土地管理法的违法建筑，作出处罚决定的机关主要是县级以上人民政府土地行政主管部门。以下是对这一问题的详细分析：

法律依据

《土地管理法》第八十三条明确规定：“依照本法规定，责令限期拆除在非法占用的土地上新建的建筑物和其他设施的，建设单位或者个人必须立即停止施工，自行拆除；对继续施工的，作出处罚决定的机关有权制止。建设单位或者个人对责令限期拆除的行政处罚决定不服的，可以在接到责令限期拆除决定之日起十五日内，向人民法院起诉；期满不起诉又不自行拆除的，由作出处罚决定的机关依法申请人民法院强制执行，费用由违法者承担。” 从这一条款中可以看出，作出责令限期拆除决定的机关，即有权对违法建筑作出处罚决定的机关，是县级以上人民政府土地行政主管部门。

机关职责

县级以上人民政府土地行政主管部门在土地管理方面承担着重要的职责，包括但不限于：

1. 土地规划与管理：负责编制和实施土地利用总体规划，确保土地资源的合理利用和保护。
2. 土地执法与监督：对违反土地管理法律、法规的行为进行查处，包括违法建筑的认定和处罚。
3. 土地权属管理：负责土地权属的登记、发证和管理工作，维护土地所有者和使用者的合法权益。

处罚程序

在处理违法建筑时，县级以上人民政府土地行政主管部门通常会遵循以下程序：

1. 调查取证：对违法建筑进行现场勘查，收集相关证据，如照片、视频、证人证言等。
2. 作出处罚决定：根据调查结果，依据相关法律法规，作出责令限期拆除的处罚决定，并书面通知违法建筑的建设单位或个人。
3. 执行与监督：监督违法建筑的建设单位或个人在规定期限内自行拆除；如逾期未拆除，则依法申请人民法院强制执行。

特殊情况

在某些特殊情况下，如违法建筑涉及多个部门或存在复杂的法律关系时，县级以上人民政府土地行政主管部门可能会与其他相关部门（如城乡规划部门、建设部门等）进行协调，共同作出处罚决定或采取其他措施。

法律建议

对于涉及违法建筑的问题，建议相关单位或个人：

1. 及时咨询：在收到责令限期拆除的通知后，应及时咨询专业律师或相关部门的意见，了解自身权益和义务。
2. 积极配合：积极配合县级以上人民政府土地行政主管部门的调查和执行工作，避免不必要的法律纠纷和损失。
3. 依法维权：如对处罚决定不服，可在法定期限内向人民法院提起诉讼，依法维护自身合法权益。

如果您在农村土地或宅基地方面遇到任何法律问题，欢迎直接向我咨询，我会根据您的具体情况提供专业的法律建议。