退伍军人安置办归属于退役军人事务部管理。

退役军人事务部是国务院的组成部门，为正部级，负责贯彻落实党中央关于退役军人工作的方针政策和决策部署。其主要职责包括拟订退役军人思想政治、管理保障和安置优抚等工作政策法规并组织实施，以及负责军队转业干部、复员干部、离休退休干部、退役士兵和无军籍退休退职职工的移交安置工作和自主择业、就业退役军人服务管理工作等。

具体来说，退役军人事务部内设的移交安置司，就是专门负责拟订计划分配的军队转业干部、符合条件的退役士兵年度安置计划并组织实施的，同时承担中央单位计划安置和计划外选调工作。因此，退伍军人安置办作为负责退伍军人安置工作的机构，自然归属于退役军人事务部管理。