当借款人去世后，其家人或法定继承人确实有权依法继承债权，并尝试通过法律途径追回借出去的钱。但这一过程并非毫无条件，而是需要遵循一定的法律程序，并注意保留和收集相关证据。以下是对这一问题的详细解答：

一、债权继承的法律依据

根据《中华人民共和国民法典》的相关规定，遗产包括自然人死亡时遗留的个人合法财产，债权作为财产权利的一种，是可以被继承人继承的。因此，当借款人去世后，其家人（法定继承人或遗嘱继承人）有权依法继承该债权，进而向债务人主张还款。

二、追讨债务的具体步骤

1. 确认债权情况：

   • 详细了解借款的具体情况，包括借款金额、借款时间、还款期限、是否有担保或抵押等。
   • 检查借款人是否留有遗嘱，以及遗嘱中是否明确提及了这笔债权。

2. 收集证据材料：

   • 保留借条、借款合同等书面证据，并准备能证明自己继承人身份的文件，如死亡证明、亲属关系证明等。
   • 若无书面证据，应尝试收集其他能够形成完整证据链的材料，如转账记录、聊天记录、通话录音、证人证言等。

3. 与债务人沟通：

   • 主动与债务人联系，说明债权已发生继承，并要求其向指定继承人履行还款义务。
   • 若债务人承认借款事实并愿意还款，双方可以协商具体的还款方式和时间。

4. 法律途径追讨：

   • 若债务人拒绝还款或无法联系，可以向人民法院提起诉讼，要求债务人还款。在诉讼过程中，提供的证据将成为胜诉的关键。
   • 如果债务人也已去世，需要了解其遗产情况及继承人情况，要求债务人的继承人在遗产范围内承担清偿责任。

三、特殊情况的处理

1. 债务人下落不明：

   • 可以通过公告送达法律文书的方式，即使债务人无法联系，也不影响诉讼的进行。
   • 缺席审判后，若债务人有名下财产，仍可执行其财产以偿还债务。

2. 债务人无力偿还：

   • 若债务人确实无力偿还，可以中止执行程序，待其恢复偿债能力后再继续执行。
   • 若发现债务人有可供执行的财产，可随时恢复执行程序。

3. 超过诉讼时效：

   • 债权是有诉讼时效限制的，一般为三年。若超过诉讼时效期间，虽丧失胜诉权，但实体债权仍存在。
   • 若债务人自愿履行还款义务，不得以诉讼时效已过为由进行抗辩。

四、注意事项

1. 及时主张权利：

   • 家人应在诉讼时效期间内主张权利，以避免因时效经过而面临败诉风险。

2. 保留原始证据：

   • 确保借条、欠条等原件完整无损，电子证据需进行公证保全，以证明其真实性和有效性。

3. 防范虚假诉讼：

   • 在追讨债务过程中，要防范恶意虚构债务等虚假诉讼行为，以免自身权益受到损害。

综上所述，借款人去世后，其家人或法定继承人可以通过继承债权并遵循法律程序来追回借出去的钱。但在此过程中，收集证据、了解法律规定及注意诉讼时效是至关重要的。如果借款情况复杂或涉及大额资金，建议尽快联系专业律师，通过法律途径来处理和追讨债务，以确保自身权益得到最大保障。