结论前置：违反《城乡规划法》的违建拆除主体因建筑所在区域及违反的具体法律条款不同而有所差异，主要包括县级以上地方人民政府城乡规划主管部门、乡或镇人民政府，以及部分地区授权的城市管理综合行政执法部门。
详细分析：
县级以上地方人民政府城乡规划主管部门：
- 法律依据：根据《中华人民共和国城乡规划法》第六十四条，未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，并处罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。
- 适用场景：主要适用于城市规划区内的违建，如未经批准擅自建设的房屋、构筑物等。
乡或镇人民政府：
- 法律依据：依据《中华人民共和国城乡规划法》第六十五条，在乡、村庄规划区内未依法取得乡村建设规划许可证或者未按照乡村建设规划许可证的规定进行建设的，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可以拆除。
- 适用场景：主要适用于乡村规划区内的违建，如农村未经批准擅自建设的农房、养殖棚等。
城市管理综合行政执法部门（部分地区）：
- 实施情况：部分地区通过地方性法规授权城管部门集中行使行政处罚权，包括违建拆除。例如，某些城市的地方性法规可能明确规定城管执法部门为查处违建的主体。
- 注意事项：由于不同地区的授权情况可能不同，因此需核查当地是否出台相关授权文件，以确定城管部门是否具有违建拆除权。
法律建议与后果：
- 法律建议：面对违建问题，建议当事人首先确认违建所在的具体区域（城市规划区还是乡村规划区），并了解当地关于违建拆除的具体规定和程序。如果违建被认定，且当事人不执行相关部门的拆除决定，可能会面临强制拆除、罚款等法律后果。
- 可能后果：如果违建被强制拆除，当事人可能需要承担拆除费用，并可能因违建行为受到罚款等行政处罚。此外，违建还可能影响当事人的信用记录，对未来的贷款、购房等产生不利影响。
总结：
违反《城乡规划法》的违建拆除主体因建筑所在区域及违反的具体法律条款不同而有所差异。在实际操作中，应根据具体情况确定拆除主体，并确保整个拆除过程符合法律法规要求。如果当事人对违建拆除有疑问或需要法律帮助，可以直接向我咨询，我将根据具体情况提供专业的法律意见。