违法建筑的处罚主体主要是城乡规划主管部门，在特定情况下，城市管理综合行政执法部门也可能成为处罚主体。以下是对这一问题的详细分析：
城乡规划主管部门的处罚权：
- 根据《中华人民共和国城乡规划法》的相关规定，城乡规划主管部门对违法建筑具有主要的处罚权。这包括对未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的行为进行查处，并有权责令停止建设、限期改正、罚款，甚至在无法采取改正措施消除影响的情况下，限期拆除或者没收违法收入。
城市管理综合行政执法部门的处罚权：
- 在一些地区，城市管理综合行政执法部门（也称为城管部门）被授权行使对违法建筑的处罚权。这通常是在地方政府通过法规或规章将部分城乡规划管理方面的行政处罚权委托给城管部门行使的情况下发生的。因此，在这些地区，城管部门也可能成为违法建筑的处罚主体。
其他可能的处罚主体：
- 在某些特殊情况下，如违法建筑涉及土地使用违法时，国土资源主管部门也可能参与处罚。但这种情况相对较少，且通常与城乡规划主管部门的处罚并行或作为补充。
处罚主体的确定依据：
- 处罚主体的确定主要依据相关法律法规的规定以及地方政府的授权或委托。因此，在不同地区或不同情况下，处罚主体可能有所不同。
法律建议：
- 如果您面临违法建筑处罚的问题，首先需要确认处罚主体是谁，这可以通过查阅相关法律法规或咨询当地政府部门来了解。
- 如果您认为处罚主体不正确或处罚程序存在违法之处，您可以依法提出异议或申请行政复议、提起行政诉讼等法律途径来维护自己的合法权益。
可能后果：
- 如果违法建筑被确认，且处罚主体依法进行了处罚，您可能需要承担停止建设、限期改正、罚款、拆除或没收违法收入等法律责任。
- 如果您对处罚决定不服，未依法提出异议或申请行政复议、提起行政诉讼，且未履行处罚决定，处罚主体可能会依法采取强制执行措施，如强制拆除等。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。