残疾人劳动能力丧失的评定工作，主要是由劳动能力鉴定委员会来负责的。这一评定过程是基于人力资源社会保障部和国家卫生健康委联合印发的《劳动能力鉴定管理办法》来进行的。

具体来说，该办法对工伤职工以及因病或非因工致残人员的劳动能力鉴定进行了统筹规范。劳动能力鉴定主要分为初次鉴定和再次鉴定两个阶段。如果申请人对初次鉴定的结果不服，可以申请再次鉴定，而再次鉴定的结果将被视为最终结论。

在评定过程中，劳动能力鉴定委员会会依据申请人提交的相关材料，以及必要的医学检查和评估，来综合判断申请人的劳动能力丧失程度。为了确保评定的公正性和准确性，该办法还明确了一系列程序和要求，包括加强便民服务、减少不必要材料、压缩鉴定时限等。

此外，对于工伤职工的复查鉴定，以及因病或非因工致残申请领取病残津贴人员重新申请鉴定的情况，该办法也给出了明确的程序和要求。

总的来说，残疾人劳动能力丧失的评定是一个严谨而复杂的过程，需要由专业的劳动能力鉴定委员会来负责。如果您或您的家人有这方面的需求，建议及时向当地的劳动能力鉴定委员会咨询并提交相关申请。