结论：您是否可以要求退回转给中间人的钱，关键在于这笔钱的性质认定以及中间人的行为是否构成不当得利或欺诈。以下从不同角度为您详细分析：
一、从款项性质认定角度
若中间人明确知晓款项为本金：
- 如果您在转账时明确告知中间人，这笔钱是作为本金转给第三方的，而中间人却故意将其告知第三方为利息，这可能构成中间人的欺诈或不当陈述。
- 在此情况下，您有权要求中间人纠正其错误陈述，并返还因错误陈述而可能导致的您的损失（即多付的利息部分或本金被错误认定为利息的部分）。
若中间人并不知晓款项为本金：
- 如果您在转账时并未明确说明款项性质，或者中间人因误解而将款项告知第三方为利息，那么情况就相对复杂。
- 在此情况下，您需要证明中间人存在过错（如未尽到合理的注意义务），才可能要求其承担一定的责任。但这一证明过程可能较为困难，且结果不确定。
二、从不当得利角度
- 如果中间人因您的转账而获得了不当利益（即他并未付出相应对价却获得了您的钱款），且这种利益的获得与您的损失之间存在因果关系，那么您可能构成不当得利之债。
- 在此情况下，您有权要求中间人返还其获得的不当利益。但同样，您需要证明中间人确实获得了不当利益，且这种利益的获得与您的转账行为之间存在直接因果关系。
三、从实际操作建议角度
收集证据：
- 您应尽快收集所有与转账相关的证据，包括转账记录、聊天记录、通话录音等，以证明您转账时的真实意图以及中间人的错误陈述或不当行为。
与中间人协商：
- 在收集到足够证据后，您可以尝试与中间人进行协商，要求其纠正错误陈述并返还可能因错误陈述而导致的您的损失。
寻求法律途径：
- 如果协商无果，您可以考虑通过法律途径来维护自己的权益。这可能包括向法院提起诉讼或申请仲裁等。
四、从法律后果角度
- 如果法院或仲裁机构认定中间人存在欺诈、不当陈述或不当得利等行为，那么中间人可能需要承担返还钱款、赔偿损失等法律责任。
- 但如果法院或仲裁机构认为中间人并无过错或您的证据不足以证明其存在过错，那么您可能无法要求中间人返还钱款或赔偿损失。
最后，我建议您在处理此类问题时保持冷静和理性，尽快收集证据并咨询专业律师（即我本人，徐立新律师，专注于刑事辩护、债权债务、建设工程领域）的意见。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。