乡村违法建设的处罚主体，需根据违法建设的性质、地点及具体情形，由乡镇人民政府、县级以上人民政府农业农村主管部门或自然资源部门等负责处理。以下从不同角度进行详细分析：

一、乡镇人民政府的处罚权

1. 主要职责：根据《中华人民共和国城乡规划法》及相关法规，乡镇人民政府主要负责乡、村庄规划区内的违法建设处理。对于未依法取得乡村建设规划许可证或未按许可证规定建设的行为，乡镇人民政府有权责令停止建设、限期改正；逾期不改正的，可以拆除违法建设。
2. 适用情形：通常适用于乡村规划区内的一般违法建设行为，如未经批准擅自建房、扩建等。
3. 优势：乡镇人民政府对本辖区内的违法建设情况熟悉，能够及时发现并处理，有效维护乡村建设秩序。

二、县级以上人民政府农业农村主管部门的处罚权

1. 主要职责：根据2020年1月1日起实施的新修订的《土地管理法》第七十八条规定，农村村民未经批准非法占用土地建住宅的查处职责，由县级以上人民政府农业农村主管部门行使。这包括要求拆除非法占用的土地上新建的房屋，并可申请法院强制执行。
2. 适用情形：特别适用于农村村民非法占用土地（包括各类土地，非特指宅基地）建住宅的违法行为，无论是否取得宅基地审批，无论占用的是何种用途土地。
3. 法律依据：新修订的《土地管理法》明确将管理农村宅基地的职能调整到农业农村主管部门，因此农业农村主管部门在宅基地管理和查处方面具有法定职责。

三、自然资源部门的处罚权

1. 主要职责：若违法建设涉及非法占用土地等问题，如未经批准或骗取批准非法占用土地建住宅以外的其他建筑，自然资源部门将介入处理。处理方式包括责令退还非法占用的土地、限期拆除在非法土地上新建的建筑物等。
2. 监督职责：自然资源部门还负责对土地使用和管理进行监督，确保土地资源合理利用，防止因违法建设造成资源浪费和违规使用。
3. 适用情形：适用于非法占用土地进行非住宅建设，或者涉及土地管理其他违法行为的情形。

四、实际操作建议

1. 举报渠道：若发现乡村存在违法建设行为，应向当地的城乡规划主管部门、乡镇人民政府或县级以上人民政府农业农村主管部门举报。对于涉及土地问题的违法建设，也可以同时向自然资源部门反映情况。
2. 提供详细信息：在举报时，应尽可能提供详细的违法建设信息，如违法建设地点、规模、建设时间等，以便相关部门及时查处。
3. 关注处理结果：举报后，应关注相关部门的处理结果，确保违法建设得到及时有效的制止和纠正。

案例说明：某县自然资源和规划局曾以某村村民张某非法占用本村小组土地100平方米建住房立案调查，并作出行政处罚决定。但法院经审查认为，根据新修订的《土地管理法》第七十八条规定，该查处职责已由农业农村主管部门行使，因此裁定不准予强制执行申请执行人某县自然资源和规划局申请执行的对被执行人张某作出的行政处罚决定。这一案例充分说明了在处理乡村违法建设时，必须明确各部门的职责和权限。

综上所述，乡村违法建设的处罚主体需根据具体情况确定。在处理过程中，应明确各部门的职责和权限，确保违法建设得到及时有效的制止和纠正。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。