评残的决定权主要归属于不同的机构，具体取决于评残对象的身份和情况。以下是一些详细的说明：

对于现役军人，包括义务兵和初级军士，以及军官和中级以上军士，他们的残疾性质认定和残疾等级评定是由军队相应级别的卫生部门会同相关部门来完成的。具体来说，义务兵和初级军士的残疾评定由军队军级以上单位卫生部门负责，而军官和中级以上军士的残疾评定则由军队战区级以上单位卫生部门负责。这些评定会依据医疗卫生专家小组出具的残疾等级医学鉴定意见来进行。

对于退出现役的军人，以及移交政府安置的军队离休退休干部和退休军士，如果他们需要认定残疾性质和评定残疾等级，这一任务则由省级人民政府退役军人工作主管部门来承担。

至于公务员因公负伤的情况，评残的流程和负责机构则有所不同。根据相关政策，2020年2月1日（含）以后公务员新发生的因工事故伤害或职业病，如果所在地区已参加工伤保险，那么由当地人力资源社会保障部门按照已出台政策做好工伤保障工作，包括伤残等级的评定。如果未参加工伤保险，则由当地人力资源社会保障等部门依据《工伤保险条例》有关规定做好公务员工伤保障工作。需要注意的是，退役军人事务部门不再受理2020年2月1日（含）后新发生的负伤公务员的伤残抚恤工作。不过，对于2020年2月1日前负伤的公务员，其残疾等级评定、抚恤待遇发放和服务管理工作仍由退役军人事务部门按照国家有关规定负责。

总的来说，评残的决定权是根据评残对象的身份和情况来确定的，可能涉及军队卫生部门、省级人民政府退役军人工作主管部门或人力资源社会保障部门等。在评残过程中，会依据医疗卫生专家小组的医学鉴定意见来进行评定，以确保评残结果的公正性和准确性。