拆迁工作的管理归属因地区和具体拆迁项目的不同而有所差异，但通常涉及以下几个主要部门：
住房和城乡建设部门：在许多地区，拆迁办是住房和城乡建设部门的下属单位或科室，负责城市房屋拆迁工作的具体实施和管理。住房和城乡建设部门负责制定拆迁相关政策、规划和标准，对拆迁项目的合法性、合规性进行审批和监管，确保拆迁过程符合法律法规和城市建设规划。
自然资源部门：部分地区拆迁办归自然资源部门管理，因为土地征收和规划是拆迁的重要基础。自然资源部门主要涉及土地利用规划和土地征收等方面的管理，在拆迁过程中负责对土地性质的认定、土地征收的审批以及拆迁范围内土地的权属确认等工作。
地方政府直接管理：有些地区为了加强对拆迁工作的统筹协调力度，会成立由地方政府直接管理的拆迁管理办公室或类似机构。这种模式下，拆迁办能更高效地协调各部门之间的工作，推动拆迁工作顺利进行，并确保拆迁行为符合地方政府的整体规划和政策导向。
此外，从国家级层面来看，国务院建设行政主管部门对全国的城市房屋拆迁工作实施监督管理；而地方级则由县级以上地方人民政府负责管理房屋拆迁工作的部门（简称房屋拆迁管理部门）对本行政区域内的城市房屋拆迁工作实施监督管理。
综上所述，拆迁工作的管理归属是一个相对复杂的问题，具体归属哪个部门管理需根据当地政府的组织架构和拆迁项目的具体情况来确定。如果您在拆迁过程中遇到任何问题或纠纷，建议及时向当地住房和城乡建设部门、自然资源部门或地方政府咨询并寻求帮助。