退伍之后的归属管理并不是直接由武装部负责，而是由多个部门共同协作完成，其中民政部门在退伍军人的安置工作中起主导作用。

根据《退伍义务兵安置条例》和《退役军人安置条例》的相关规定，退伍义务兵的安置工作主要在地方各级人民政府的领导下进行。具体来说，退伍军人安置机构设在民政部门，负责办理退伍义务兵的安置日常工作。而人民武装部、计划、劳动人事等各有关部门则需要协助民政部门做好退伍义务兵的安置工作。

退伍义务兵回到原征集地后，需要持退伍证和部队介绍信到县、市、市辖区兵役机关办理预备役登记，然后向退伍军人安置机构报到，凭退伍军人安置机构介绍信办理落户手续。接下来，根据退伍义务兵的具体情况，如原是农业户口还是城镇户口，以及是否在服役期间有立功表现等，民政部门会协同其他相关部门进行妥善安置。

因此，虽然武装部在退伍军人安置工作中也扮演了一定的角色，但并非直接负责退伍军人的管理，而是与民政部门等其他部门共同协作，确保退伍军人能够得到妥善的安置和保障。