贷款人死亡后，其家人通常仅需以所得遗产实际价值为限清偿债务，包括贷款及罚息。若家人放弃继承，则无需负责偿还。

一. 家人继承遗产的情况

1. 法律依据：根据《中华人民共和国民法典》第一千一百六十一条，继承人以所得遗产实际价值为限清偿被继承人依法应当缴纳的税款和债务。这意味着，如果贷款人的家人继承了其遗产，他们需要以遗产的实际价值为限来清偿贷款及可能产生的罚息。
2. 实例说明：假设贷款人去世后留下了价值20万的遗产，其家人选择继承。那么，他们需要从这20万中拿出15万来偿还贷款本金，并根据银行规定支付相应的罚息（如果有的话）。如果遗产价值不足以完全清偿债务，家人无需用自己的财产来补足差额。

二. 家人放弃继承的情况

1. 法律依据：同样根据《中华人民共和国民法典》第一千一百六十一条，继承人放弃继承的，对被继承人依法应当缴纳的税款和债务可以不负清偿责任。
2. 实例说明：如果贷款人的家人选择放弃继承遗产，那么他们就没有义务去偿还这笔贷款及其罚息。银行不能强迫他们使用个人财产来清偿债务。

综上所述，贷款人死亡后，其家人是否需要负责还钱及罚息，取决于他们是否选择继承遗产。如果继承，则以遗产实际价值为限清偿债务；如果放弃继承，则无需负责。我建议家人根据自己的实际情况和法律规定来做出决策，并如有进一步需要，您可以继续咨询我。