结论：是否可以要回别人拿走去还高利贷的钱，取决于多个因素，包括借款的性质、双方的关系、借款时的约定以及是否存在违法情形等。以下从不同角度进行分析：

1. 借款性质与双方关系：

   • 如果这笔钱是您借给对方的，且双方有明确的借款约定（如借条、转账记录等），那么您有权要求对方按照约定还款。对方将钱用于还高利贷，并不影响您对其的债权。
   • 如果这笔钱是您赠与对方的，或者双方没有明确的借款约定，那么您可能难以直接要求对方还款。赠与行为一旦完成，除非存在法定撤销情形，否则赠与人不得要求受赠人返还。

2. 借款时的约定：

   • 如果在借款时，您与对方明确约定了借款用途（如不得用于还高利贷），而对方违反了这一约定，您不仅可以要求对方还款，还可以要求对方承担违约责任。
   • 如果借款时没有约定用途，或者约定不明确，那么对方将钱用于还高利贷，并不构成违约。但您仍然有权要求对方按照借款时的约定（如还款期限、利息等）还款。

3. 高利贷的违法性：

   • 高利贷本身可能涉及违法情形，如利率超过法定上限等。如果对方用您的钱去还高利贷，且该高利贷行为被认定为违法，那么您可能不需要承担对方因还高利贷而产生的额外费用或损失。但这并不影响您对对方原本借款的债权。
   • 然而，需要注意的是，即使高利贷行为违法，您也不能直接通过法律手段要求高利贷放贷人返还您给对方的钱。您的债权仍然只能向对方主张。

4. 实际操作建议：

   • 首先，与对方进行沟通，了解借款的具体情况和还款计划。如果对方愿意还款，可以协商制定一个合理的还款计划。
   • 如果对方拒绝还款或无法联系到对方，您可以考虑通过法律途径解决。准备相关证据（如借条、转账记录、聊天记录等），向法院提起诉讼，要求对方还款。
   • 在诉讼过程中，注意保护自己的合法权益，避免因为对方的不诚信行为而遭受损失。

后续行动建议：

• 如果您决定通过法律途径解决，建议尽快收集相关证据，并咨询专业律师（即我，梁悦律师）以获取更具体的法律建议。
• 在处理此类问题时，务必保持冷静和理性，避免因为情绪激动而做出不理智的行为。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。