结论：别人用借你的钱去还高息，能否追回需视具体情况而定，但通常直接追回存在一定难度，不过你可以通过法律途径维护自身权益，要求借款人承担相应责任。以下从不同角度为你详细分析：
一、借款合同关系角度
- 借款合同效力：
- 你与借款人之间形成了借款合同关系，这是基于双方真实意思表示而成立的民事法律关系。只要借款合同不存在法定无效情形（如一方以欺诈、胁迫的手段订立合同，损害国家利益；恶意串通，损害国家、集体或者第三人利益；以合法形式掩盖非法目的；损害社会公共利益；违反法律、行政法规的强制性规定等），合同就是有效的。
- 借款人将借款用于还高息，并不必然导致借款合同无效。因为借款用途并非借款合同生效的必备要件，除非你在借款合同中明确约定了借款用途，且借款人违反了该约定，但这一般只是构成违约，而非合同无效。
- 还款责任：
- 既然借款合同有效，借款人就有义务按照合同约定的期限和方式偿还借款本金及利息（如果合同约定了利息）。如果借款人未按时还款，你作为出借人有权要求其承担还款责任，包括要求其偿还借款本金、利息（如果合法）以及可能产生的逾期利息、违约金等。
- 然而，你难以直接追回被借款人用于还高息的那部分钱，因为这部分钱已经进入了高息贷款的债权人的口袋，你与高息贷款的债权人之间没有直接的债权债务关系。
二、高息贷款合法性角度
- 高息贷款的合法性：
- 根据相关法律规定，民间借贷的利率有上限限制。如果借款人还的高息超过了法律规定的上限，那么超出部分的利息是不受法律保护的。
- 具体来说，根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，借贷双方约定的利率未超过合同成立时一年期贷款市场报价利率四倍的，出借人请求借款人按照约定的利率支付利息的，人民法院应予支持。借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍，超过部分的利息约定无效。借款人请求出借人返还已支付的超过部分的利息的，人民法院应予支持。
- 对出借人的影响：
- 如果借款人还的高息超过了法律规定的上限，并且你能够证明这一点（比如有相关的转账记录、聊天记录等证据），那么你可以尝试与借款人协商，要求其将超出部分的利息返还给你（虽然这部分钱实际上已经给了高息贷款的债权人，但借款人可能因违法高息而面临返还责任，你可以基于借款合同关系要求其将可能返还的部分给你）。不过，这种要求在实际操作中可能面临一定困难，因为借款人可能已经将钱给了高息贷款的债权人，且不一定愿意或能够从债权人那里要回。
- 更实际的做法是，你在要求借款人偿还借款本金和合法利息时，可以提醒借款人其还的高息可能违法，并建议其通过法律途径（如起诉高息贷款的债权人）来维护自身权益，但这并不直接解决你追回钱的问题。
三、法律建议
- 收集证据：
- 无论采取哪种方式维护自身权益，收集证据都是关键。你应该保留好借款合同、转账记录、聊天记录等能够证明借款事实和借款用途（如果可能）的证据。
- 协商解决：
- 在证据充分的情况下，你可以先尝试与借款人协商解决。要求其按照借款合同约定偿还借款本金和合法利息，并讨论如何处理其还高息的问题（虽然这可能不直接涉及你追回钱，但可以了解借款人的态度和情况）。
- 法律途径：
- 如果协商无果，你可以考虑通过法律途径维护自身权益。向法院提起诉讼，要求借款人偿还借款本金和合法利息，并承担逾期利息、违约金等责任。在诉讼过程中，你可以提及借款人还高息的情况，但主要焦点还是放在借款合同关系的履行上。
后续思考依据：在处理此类问题时，你需要重点关注借款合同的效力、高息贷款的合法性以及证据的收集和保存。同时，也要考虑到实际操作中的困难和复杂性，做好心理准备并寻求专业法律帮助（当然，你可以直接向我咨询）。