当借款人去世后，其家人或法定继承人确实有权依法继承债权，并尝试通过法律途径追回借出去的钱。但这一过程并非毫无条件，而是需要遵循一定的法律程序，并注意保留和收集相关证据。以下是对这一问题的详细解答：
一、债权继承的法律依据
根据《中华人民共和国民法典》的相关规定，遗产包括自然人死亡时遗留的个人合法财产，债权作为财产权利的一种，是可以被继承人继承的。因此，当借款人去世后，其家人（法定继承人或遗嘱继承人）有权依法继承该债权，进而向债务人主张还款。
二、家人主张债权的具体步骤
确认债权情况：
- 详细了解借款的具体情况，包括借款金额、借款时间、还款期限、是否有担保或抵押等。
- 检查借款人是否留有遗嘱，以及遗嘱中是否明确提及了这笔债权。
收集证据材料：
- 保留借条、借款合同等书面证据，并准备能证明自己继承人身份的文件，如死亡证明、亲属关系证明等。
- 若无书面证据，应尝试收集其他能够形成完整证据链的材料，如转账记录、聊天记录、通话录音、证人证言等。
与债务人沟通：
- 若债务人承认借款事实并愿意还款，双方可以协商具体的还款方式和时间。
- 若债务人拒绝还款或无法联系，应考虑通过法律途径解决。
法律途径追讨：
- 在必要时，可以向人民法院提起诉讼，要求债务人还款。在诉讼过程中，提供的证据将成为胜诉的关键。
- 如果债务人也已去世，需要了解其遗产情况及继承人情况，要求债务人的继承人在遗产范围内承担清偿责任。
三、特殊情况的处理
债务人死亡：
- 若债务人也已去世，家人需关注其遗产情况及继承人情况。若债务人有遗产且继承人继承了遗产，则可在遗产范围内要求偿还；若无遗产或继承人放弃继承，则可能无法从债务人处获得还款。
债务人下落不明或无力偿还：
- 若债务人下落不明，可以通过公告送达法律文书，缺席审判后仍可执行其名下财产。
- 若债务人无力偿还，可以中止执行程序待其恢复偿债能力，或发现可供执行财产时随时恢复执行。
超过诉讼时效：
- 债权是有诉讼时效限制的，一般为三年。家人应在诉讼时效期间内主张权利，以避免因时效经过而面临败诉风险。
- 如在诉讼时效期间内有主张权利等导致诉讼时效中断的情形，诉讼时效将重新计算。
四、注意事项
- 及时主张权利：避免超过诉讼时效，确保自己的权益不受损害。
- 保留原始证据：确保借条、欠条等原件完整，电子证据需进行公证保全，以备不时之需。
- 防范虚假诉讼：在追讨债务过程中，要警惕恶意虚构债务的行为，这可能构成刑事犯罪。
综上所述，借款人去世后，其家人或法定继承人可以通过继承债权并遵循法律程序来追回借出去的钱。但在此过程中，收集证据、了解法律规定及注意诉讼时效是至关重要的。如果借款情况复杂或涉及大额资金，建议尽快联系专业律师，通过法律途径来处理和追讨债务，以确保自身权益得到最大保障。