首先明确结论：投资诈骗人得来的高利不归还，可能会面临法律上的不利后果，包括被追缴违法所得、承担刑事责任以及民事赔偿责任等。接下来，我将从多个角度详细分析这一问题。

1. 法律追缴违法所得：

   • 根据我国相关法律规定，诈骗所得的财物，包括直接获得的财物以及由此产生的孳息（如利息、收益等），均属于违法所得，应当依法予以追缴。
   • 因此，如果你投资诈骗人得来的高利不归还，这部分高利很可能被视为违法所得的一部分，面临被追缴的风险。

2. 刑事责任：

   • 诈骗行为本身已经构成犯罪，如果诈骗金额达到一定数额或者情节严重，诈骗人将面临刑事处罚，如有期徒刑、罚金等。
   • 虽然你作为投资者可能并非诈骗行为的直接实施者，但如果你明知是诈骗所得而进行投资，或者与诈骗人存在共谋、协助等行为，你也可能被视为共犯或者从犯，承担相应的刑事责任。
   • 此外，如果你拒绝归还高利，且这部分高利被认定为诈骗所得的一部分，你的行为可能被视为对诈骗行为的纵容或支持，从而加重你的刑事责任。

3. 民事赔偿责任：

   • 诈骗行为导致被害人遭受经济损失的，诈骗人应当承担民事赔偿责任。
   • 如果你作为投资者获得了诈骗人得来的高利，且这部分高利被认定为诈骗所得的一部分，那么被害人有权要求你返还这部分高利作为赔偿。
   • 如果你拒绝返还，被害人可以通过法律途径向你追偿，包括提起民事诉讼等。

建议与提醒：

• 如果你发现自己投资的是诈骗所得的高利，建议你立即停止投资行为，并主动向相关部门报告情况。
• 如果你已经获得了这部分高利，建议你尽快归还给被害人或者相关部门，以避免面临法律上的不利后果。
• 如果你对具体情况存在疑问或者需要进一步的法律帮助，可以直接向我咨询，我会根据你的具体情况提供专业的法律意见和帮助。

最后，投资需谨慎，切勿因贪图高利而陷入法律风险。在投资前，务必对投资项目进行充分的了解和风险评估，确保自己的投资行为合法合规。