对违法建设进行处罚的机关主要包括城市管理综合行政执法部门（或城市管理部门）、自然资源部门以及乡镇人民政府，具体职责划分如下：
城市管理综合行政执法部门（或城市管理部门）：
- 在多数城市中，城市管理综合行政执法部门（或简称为城管部门）是负责查处违法建设的主要机关。它们依据《中华人民共和国城乡规划法》等相关法律法规，对未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的行为进行查处。
- 处罚措施可能包括责令停止建设、限期拆除、没收实物或者违法收入，以及罚款等。
自然资源部门：
- 自然资源部门（原国土资源部门）在违法建设查处中也扮演着重要角色。它们主要负责土地管理方面的法律法规执行，对非法占用土地进行建设的行为进行查处。
- 如果违法建设涉及非法占用农用地、耕地等，自然资源部门将依据《中华人民共和国土地管理法》等相关法律法规进行处罚，可能包括责令退还非法占用的土地、限期拆除在非法占用的土地上新建的建筑物和其他设施、恢复土地原状，以及罚款等。
乡镇人民政府：
- 在乡村规划区内，乡镇人民政府也具有一定的违法建设查处职责。它们依据《中华人民共和国城乡规划法》等相关法律法规，对乡村规划区内的违法建设行为进行查处。
- 处罚措施与城市管理综合行政执法部门类似，可能包括责令停止建设、限期改正、罚款等。对于逾期不改正的，乡镇人民政府甚至有权组织拆除。
特殊情况说明：
- 在某些地区或特定情况下，可能还有其他机关也参与违法建设的查处工作，如住房和城乡建设部门、水利部门等。这主要取决于违法建设的具体性质和所在地区的法律法规规定。
- 如果违法建设同时涉及多个方面的违法行为（如既非法占用土地又未取得建设工程规划许可证），则可能由多个机关联合进行查处。
法律建议：
- 如果您发现身边有违法建设行为，可以向上述相关机关进行举报。在举报时，请尽可能提供详细的违法建设信息（如地点、建设情况、建设时间等），以便相关机关能够及时进行查处。
- 如果您自己涉及违法建设行为，建议尽快咨询专业律师，了解相关法律法规和处罚措施，并积极配合相关机关的查处工作，以减轻可能的法律后果。
如有任何进一步的问题或需要更详细的法律解释，请随时向我咨询。