结论：放高利贷的人去世后，其家属是否有权追回借款，需根据具体情况判断，若借款合同本身合法有效，家属有权继承债权并追回；若借款合同因高利贷行为部分无效，家属仅能追回合法本金及利息部分。以下从不同角度详细分析：
一、借款合同合法有效的情况
法律背景：
- 根据《中华人民共和国民法典》的相关规定，合法的借贷关系受法律保护。即使出借人去世，其债权作为遗产，可以由其继承人继承。
家属的权利：
- 在这种情况下，放高利贷的人（出借人）的家属作为合法继承人，有权继承出借人的债权，即有权向借款人追回借款本金及合法利息。
实际操作：
- 家属需要提供借款合同、转账记录等证据，证明借贷关系的存在及合法性，然后可以通过协商、调解或诉讼等方式向借款人追回借款。
二、借款合同因高利贷行为部分无效的情况
法律背景：
- 根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍的，超过部分的利息约定无效。
- 如果出借人收取的利息超过了法定上限，那么超出部分的利息将不受法律保护，即借款合同因高利贷行为部分无效。
家属的权利：
- 在这种情况下，放高利贷的人（出借人）的家属虽然可以继承债权，但只能追回合法本金及未超过法定上限的利息部分。超出部分的利息，家属无权追回。
实际操作：
- 家属在追回借款时，需要区分合法利息和非法利息，只能就合法部分进行主张。如果借款人拒绝支付，家属可以通过法律途径解决，但法院将只支持合法部分的诉求。
三、特殊情况考虑
借款人无力偿还：
- 如果借款人确实无力偿还借款，即使家属有权追回，也可能面临执行难的问题。在这种情况下，家属可以考虑与借款人协商分期偿还或减免部分债务。
出借人存在其他违法行为：
- 如果出借人在放贷过程中存在其他违法行为（如暴力催收、非法拘禁等），那么这些行为可能构成犯罪，家属在追回借款的同时，也可能面临法律责任。因此，在追回借款时，家属应确保自己的行为合法合规。
建议：如果您或您的家属遇到类似情况，建议先收集相关证据（如借款合同、转账记录等），然后咨询专业律师以获取更具体的法律建议。在处理此类问题时，务必确保自己的行为合法合规，避免陷入不必要的法律纠纷。有问题可以直接向我咨询，我会根据您的具体情况提供详细的法律解答。