中间人不能要求实际出借人返还借款人付出的高出法定的利息。下面我来详细解释一下这个问题：

首先，我们要明确中间人在民间借贷中的角色。中间人通常只是介绍借贷双方认识，或者协助借贷双方达成借贷协议，他们并不直接参与借贷关系的建立，也不是借贷合同的当事人。因此，中间人没有权利直接要求实际出借人返还任何利息，包括高出法定的利息。

其次，关于高出法定的利息，根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，借贷双方约定的利率超过合同成立时一年期贷款市场报价利率四倍的，人民法院不予支持。这意味着，如果借款人已经支付了超出法定利率的利息，他们有权要求出借人返还超出的部分。但这一权利属于借款人，而不是中间人。

最后，如果中间人认为出借人收取了过高的利息，他们可以向借款人提供法律咨询或建议，帮助借款人了解他们的权利和法律途径。但中间人自己不能直接要求出借人返还利息，因为这涉及到借款人和出借人之间的借贷关系，与中间人无关。

综上所述，中间人不能要求实际出借人返还借款人付出的高出法定的利息。如果借款人对利息有异议，他们应该通过法律途径来维护自己的权益。