违建的处罚对象主要是违建的建设者或所有人，但具体处罚主体会根据违建的具体位置、性质以及所涉及的法律法规来确定。以下是对不同情境下违建处罚主体的详细梳理：

1. 城乡规划主管部门（城乡规划局）：

   • 在城市、镇规划区内，如果未取得建设工程规划许可证或未按其规定进行建设，那么由县级以上地方人民政府城乡规划主管部门负责查处。这些部门会依法作出责令停止建设、限期拆除、罚款等行政处罚决定。处罚对象通常是违建的建设者或所有人。

2. 城市管理综合行政执法部门：

   • 在许多城市，城管执法部门集中行使包括规划在内的多方面行政处罚权。对于城市规划区内的违章建筑，城管执法部门同样有权进行查处和处罚，处罚对象也是违建的建设者或所有人。

3. 乡镇人民政府：

   • 在乡、村庄规划区内，如果未依法取得乡村建设规划许可证或未按其规定进行建设，那么由乡、镇人民政府责令停止建设、限期改正。逾期不改正的，乡镇人民政府可以拆除违建，处罚对象同样是违建的建设者或所有人。

4. 特殊情境下的处罚主体：

   • 如果违建涉及非法占用土地，如未经批准或骗取批准占用土地进行建设，那么由县级以上人民政府土地行政主管部门（自然资源部门）责令退还非法占用的土地，并限期拆除在非法土地上新建的建筑物及其他设施。此时，处罚对象除了违建的建设者或所有人外，还可能包括非法占用土地的使用者。
   • 对于河道管理范围内的违建，处罚主体为河道主管机关；对于铁路线路安全保护区内的违建，处罚主体为铁路主管部门及铁路管理机构；对于公路建筑控制区范围内的违建，处罚主体为交通主管部门。在这些特殊情境下，处罚对象同样是违建的建设者或所有人，但具体处罚措施会根据违建对特定区域的影响程度来确定。

在处理违建问题时，还需要注意以下几点：

• 违建的认定：违建是指未经规划土地主管部门批准，未领取建设工程规划许可证或临时建设工程规划许可证，擅自建筑的建筑物和构筑物。因此，在认定违建时，需要依据相关法律法规和规划要求进行判断。
• 处罚的合法性：相关部门在处罚违建时，必须依法进行，确保处罚决定的合法性和有效性。如果当事人对处罚决定有异议，可以依法申请行政复议或提起行政诉讼。
• 后续处理：对于违建，除了处罚外，还需要考虑后续处理问题。如责令限期改正、限期拆除等，以确保违建问题得到彻底解决。

建议：在面对违建问题时，建议首先明确违建的具体情况，包括位置、性质、建设时间等，再对照相关法律法规确定相应的处罚主体和处罚措施。如果你有任何具体的法律问题或需要进一步的法律帮助，可以直接向我咨询。