违建处罚的负责部门并非单一，而是根据违建的具体情况和所在地的行政管理体系来确定，可能涉及多个部门。以下是对这一问题的详细解析：

1. 城乡规划主管部门：

   • 根据《中华人民共和国城乡规划法》的相关规定，对于未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的违建行为，城乡规划主管部门有权进行查处。
   • 处罚措施可能包括责令停止建设、限期改正（并处以建设工程造价百分之五以上百分之十以下的罚款）、限期拆除、没收实物或违法收入（并可处以建设工程造价百分之十以下的罚款）。
   • 举例：如果某小区内有一栋建筑未取得规划许可就擅自建设，城乡规划主管部门在发现后，会依法进行查处，并作出相应的处罚决定。

2. 城市管理综合行政执法部门（城管部门）：

   • 在城市规划区内，城管部门是查处违章建设的主要力量。他们负责监督检查和处罚违反规划管理规定的行为，如未取得建设工程规划许可证或未按许可证规定进行建设等。
   • 城管部门有权采取拆除违法建筑等措施，并可以作出罚款等处罚决定。
   • 举例：如果某街道上有商家未经审批就搭建了遮阳棚，城管部门在巡查发现后，会依法进行查处，并要求商家限期拆除或缴纳罚款。

3. 自然资源主管部门：

   • 自然资源主管部门主要负责土地管理和城乡规划的监管工作。对于违反土地管理和城乡规划法律法规的违建行为，如建设项目未经批准擅自占用土地进行建设，或未按照规划许可的内容进行建设，自然资源主管部门有权进行查处。
   • 在作出罚款处罚后，自然资源主管部门会告知当事人缴纳罚款的方式和指定的缴纳地点。
   • 举例：如果某开发商未经批准就擅自占用了耕地进行建设，自然资源主管部门在发现后，会依法进行查处，并要求开发商限期拆除或缴纳罚款，并可能恢复土地原状。

4. 乡镇人民政府：

   • 在乡、村庄规划区内，乡镇人民政府是管理违章建设的主要责任主体。对于未经审批擅自建房等违章建设情况，乡镇人民政府有权进行调查处理，制止违法建设行为，并依法作出相应处罚，包括责令停止建设、限期改正及拆除等。
   • 举例：如果某农村村民未经批准就在宅基地外擅自建房，乡镇人民政府在发现后，会依法进行查处，并要求村民限期拆除或缴纳罚款。

建议与指导：

• 如果您遇到了违建问题，首先需要确定违建的具体情况和发生地点。
• 然后，您可以根据上述分析，向可能涉及的部门（如城乡规划主管部门、城管部门、自然资源主管部门或乡镇人民政府）进行咨询和举报。
• 在举报时，请提供尽可能详细的违建信息，如地点、违建情况描述、相关证据等，以便执法部门能够更快速、准确地进行处理。
• 同时，您也应积极配合执法部门的调查和处理工作，共同维护城乡规划的严肃性和合法性。

后续行动提示：

• 如果您对违建处罚的具体程序或法律后果有疑问，或者需要进一步的法律帮助，请随时向我咨询。我会根据您的具体情况，提供详细的法律解释和建议。