关于“拆违建归哪个部门管”的问题，这是一个涉及多个政府部门职责分配的问题。以下是我根据您的咨询，结合相关法律法规和实际情况，给出的详细解答：
结论前置：拆违建的管理部门主要依据违建的性质、位置以及相关法律法规来确定。在城市规划区内，通常涉及自然资源部门、城市管理综合执法部门、住建部门、城乡规划主管部门及乡镇人民政府或街道办事处等；在农村地区，则主要由农业农村部门、乡镇人民政府及土地行政主管部门负责。
详细解答：
城市规划区内的违建拆除：
- 自然资源部门：负责违建的认定工作，判断建筑物是否违反土地利用总体规划或未经合法审批。
- 城市管理综合执法部门（城管部门）：经授权或委托后，实施对违建的强制拆除等执法行动。
- 住建部门和市政管理部门：参与违建的具体执行工作，如责令限期拆除、停止施工等。
- 城乡规划主管部门：对未取得或违反建设工程规划许可证的建设行为进行处罚，包括责令停止建设、限期改正、罚款、限期拆除等，并可向县级以上政府申请采取查封、强制拆除等措施。
- 乡镇人民政府或街道办事处：负责本辖区内违建的巡查、发现、制止和上报，配合相关部门调查处理，特定情况下可被授权或委托实施拆除。
农村（集体土地上）的违建拆除：
- 农业农村部门：监督管理和认定农村宅基地等方面的违建，查处违反农村宅基地管理规定的行为。
- 乡镇人民政府：作为农村违建查处和拆除的主要责任主体，负责具体的调查、处理和拆除工作。
- 土地行政主管部门：对非法占用土地、买卖或以其他形式非法转让土地等行为进行处罚，包括限期拆除在非法占地上新建的建筑物。
总结：拆违建是一个涉及多个部门协作的综合执法过程。具体由哪个部门负责执行拆除，需根据违法建筑的性质、位置以及相关法律法规来确定。如果您面临违建问题，建议首先确定违建的具体位置和性质，然后咨询当地相关部门或专业律师，以获取更具体的法律建议和帮助。