违建的认定与拆除主体根据具体情况有所不同，以下从多个角度进行详细分析：

一、违建的认定主体

1. 自然资源主管部门：

   • 主要依据《土地管理法》进行认定。对于违反土地利用总体规划，擅自改变农用地为建设用地的行为，如未经批准在农用地上建设厂房，由县级以上人民政府自然资源主管部门进行认定。

2. 城乡规划主管部门：

   • 根据《城乡规划法》，在城市、镇规划区内，未取得或未按建设工程规划许可证建设的行为，如开发商超面积建设住宅，由县级以上地方人民政府城乡规划主管部门负责认定。

3. 乡、镇人民政府：

   • 在乡、村庄规划区内，未依法取得或未按乡村建设规划许可证建设的行为，如农村村民未经许可在村庄内私建房屋，由乡、镇人民政府进行认定。

4. 城管执法部门（部分地区）：

   • 通过地方立法或政府职能调整，部分地区的城管执法部门被赋予了对特定类型违建的认定权，主要负责城市建成区内违反城市管理规定的违建查处工作。

二、违建的拆除主体

1. 自然资源主管部门：

   • 对于非法占用土地的违建，自然资源主管部门在当事人拒不履行拆除义务时，经县级以上人民政府批准，可实施强制拆除。

2. 城乡规划主管部门及相关部门：

   • 在城市、镇规划区内的违建，城乡规划主管部门作出责令停止建设或限期拆除决定后，若当事人不遵守，县级以上地方人民政府可责成包括城乡规划主管部门在内的有关部门采取查封施工现场、强制拆除等措施。

3. 乡、镇人民政府：

   • 在乡、村庄规划区内的违建，由乡、镇人民政府责令停止建设、限期改正；逾期不改正的，可进行拆除。

4. 县级以上地方人民政府：

   • 作为更高层级的行政机关，县级以上地方人民政府在必要时可直接责成相关部门执行拆除任务，或作为拆除工作的最终决策机构。

5. 人民法院：

   • 当行政机关作出责令限期拆除决定，且当事人在法定期限内既不申请行政复议也不提起行政诉讼，同时又不拆除的，行政机关可依法申请人民法院强制执行。人民法院会审查相关材料，并根据情况作出是否准予执行的裁定。如裁定准予执行，可能会组织拆除工作或要求行政机关按裁定执行。

三、法律程序与注意事项

1. 催告与陈述申辩：

   • 在实施拆除前，相关部门应依法对当事人进行催告，并听取其陈述和申辩，确保当事人的合法权益得到保障。

2. 行政复议与行政诉讼：

   • 当事人对拆除决定不服的，有权在规定期限内提起行政复议或行政诉讼。在此期间，拆除工作通常应暂停执行。

3. 强制拆除的执行：

   • 若当事人在规定期限内既未自行拆除也未提起复议或诉讼，相关部门方可依法实施强制拆除。

总结与建议：违建的认定与拆除是一个涉及多个行政部门和法律程序的复杂过程。在处理此类问题时，建议明确具体情形，确定相应的认定与拆除主体，并严格遵循相关法律法规的规定进行操作。如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我将根据您的具体情况提供详细的法律意见和帮助。