借款人身故后，其家人应以所得遗产实际价值为限清偿被继承人依法应当缴纳的税款和债务。具体分析如下：

一. 债务处理原则

• 根据《中华人民共和国民法典》第一千一百六十一条，继承人以所得遗产实际价值为限清偿被继承人依法应当缴纳的税款和债务。超过遗产实际价值部分，继承人自愿偿还的不在此限。这意味着，家人（作为继承人）仅需以继承的遗产价值为限来偿还债务，无需承担超出遗产价值的债务。

二. 继承人的选择权

• 继承人可以选择是否继承遗产。根据《中华人民共和国民法典》第一千一百二十四条，继承开始后，继承人放弃继承的，应当在遗产处理前，以书面形式作出放弃继承的表示；没有表示的，视为接受继承。如果家人选择放弃继承，则对被继承人依法应当缴纳的税款和债务可以不负清偿责任。

三. 特殊情况的处理

• 在分割遗产时，应当为缺乏劳动能力又没有生活来源的继承人保留必要的遗产，这是根据《中华人民共和国民法典》第一千一百五十九条的规定。同时，在处理债务时，也应考虑到这一特殊群体的生活需求。

综上所述，借款人身故后，其家人应首先明确是否选择继承遗产。如果选择继承，则需在遗产价值范围内清偿债务；如果选择放弃继承，则无需承担债务清偿责任。在处理债务时，还应特别注意为缺乏劳动能力又没有生活来源的继承人保留必要的遗产。如有进一步需要，您可以继续咨询我。