结论是：律师提出的“不仅不还剩下的钱，还要让高利贷往回退钱”这一说法，在特定情况下是可行的，但并非绝对，需要具体分析借款合同的内容、利率情况以及相关法律法规的适用。以下从几个角度详细分析：

1. 高利贷的合法性分析：

   • 根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍的，超过部分的利息约定无效。这意味着，如果高利贷的利率超过了法定上限，那么超出部分的利息是不受法律保护的。
   • 在这种情况下，借款人不仅无需支付超出法定利率的利息，还有权要求出借人返还已经支付的超出部分的利息。这就是律师所说的“让高利贷往回退钱”的法律依据。

2. 借款合同的效力问题：

   • 如果借款合同中明确约定了高利贷的利率，并且该利率超过了法定上限，那么这份合同在超出部分的利息约定上是无效的。但这并不意味着整个合同无效，只是超出部分的利息约定无效。
   • 借款人可以依据法律规定，拒绝支付超出部分的利息，并要求出借人按照法定利率重新计算利息。如果出借人不同意，借款人可以通过法律途径维护自己的权益。

3. 实际操作中的注意事项：

   • 证据收集：借款人需要收集足够的证据来证明借款合同的存在以及利率的约定情况。这包括借款合同、转账记录、聊天记录等。
   • 法律程序：如果出借人拒绝返还超出部分的利息，借款人可以通过起诉的方式向法院申请判决。在诉讼过程中，借款人需要提供充分的证据来支持自己的主张。
   • 执行问题：即使法院判决出借人返还超出部分的利息，如果出借人没有财产可供执行或者拒绝执行判决，借款人也可能面临执行难的问题。因此，在借款前对出借人的财产状况进行一定的了解是有必要的。

4. 特殊情况下的处理：

   • 如果高利贷涉及非法集资、诈骗等犯罪行为，那么借款人不仅无需还款，还可以向公安机关报案，追究出借人的刑事责任。
   • 在这种情况下，借款人需要积极配合公安机关的调查工作，提供相关证据和信息。

建议：

• 如果你确实借了高利贷并且无法偿还，首先不要惊慌失措。你可以咨询专业律师（比如我），了解自己的权益和可能的法律途径。
• 在与出借人协商时，要保持冷静和理性，不要被对方的威胁或恐吓所影响。你可以明确告知对方，超出法定利率的利息是不受法律保护的，你有权拒绝支付。
• 如果协商无果，你可以考虑通过法律途径来维护自己的权益。在起诉前，你需要收集足够的证据来支持自己的主张，并咨询专业律师来制定合适的诉讼策略。

总之，面对高利贷问题，借款人需要保持冷静和理性，了解自己的权益和可能的法律途径。如果你有任何疑问或需要进一步的帮助，请随时向我咨询。