结论：对方能否要求退息，需结合具体情况判断，主要看利息约定是否合法以及是否超过诉讼时效。以下从这两个方面为你详细分析：

利息约定是否合法

根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》，借贷双方约定的利率未超过合同成立时一年期贷款市场报价利率四倍的，出借人请求借款人按照约定的利率支付利息的，人民法院应予支持。如果你们约定的利息超过了合同成立时一年期贷款市场报价利率四倍，那么超过部分的利息约定是无效的。

• 若利息未超法定上限：在这种情况下，对方已经支付的利息是合法有效的，他无权要求你退还已经支付的利息，即使利息总额超过了本金。因为这是双方自愿达成的约定，且符合法律规定。
• 若利息超过法定上限：对于超过法定上限部分的利息，对方有权要求你返还。不过，他需要提供证据证明实际支付的利息超过了法定上限，比如转账记录、借条等能够证明利息支付情况的证据。

是否超过诉讼时效

诉讼时效是指民事权利受到侵害的权利人在法定的时效期间内不行使权利，当时效期间届满时，债务人获得诉讼时效抗辩权。在民间借贷中，诉讼时效一般为三年，自权利人知道或者应当知道权利受到损害以及义务人之日起计算。

• 若未超过诉讼时效：如果对方能够证明利息约定超过法定上限，并且未超过诉讼时效，那么他有权通过法律途径要求你返还超过部分的利息。
• 若超过诉讼时效：如果对方要求返还利息的请求已经超过了诉讼时效，那么你就获得了诉讼时效抗辩权。在这种情况下，即使利息约定超过法定上限，对方也可能无法通过法律途径要求你返还超过部分的利息。不过，如果你自愿返还，法律也不禁止。

举例说明：假设你们在2015年1月1日签订了借款合同，约定年利率为30%（假设当时一年期贷款市场报价利率为10%，四倍即为40%，30%未超过法定上限），借款本金为10万元。到2024年，对方已经支付了利息共计15万元（超过了本金10万元）。由于利息约定未超过法定上限，对方无权要求你退还已经支付的利息。

再假设你们约定的年利率为50%（超过了当时一年期贷款市场报价利率四倍），借款本金同样为10万元。到2024年，对方已经支付了利息共计20万元。如果对方在2024年向你主张返还超过法定上限部分的利息，且未超过诉讼时效，那么他有权要求你返还部分利息。具体返还金额需要根据实际支付的利息和法定上限进行计算。

计算公式（假设以合同成立时一年期贷款市场报价利率四倍为法定上限利率\(r\)，借款本金为\(P\)，已支付利息为\(I\)）：

• 法定利息上限金额：\(P\times r\times n\)（\(n\)为借款年数）
• 应返还利息金额：\(I - P\times r\times n\)（若\(I > P\times r\times n\)）

建议：你可以先自行计算一下利息是否超过法定上限，并回顾一下对方主张返还利息的时间是否超过了诉讼时效。如果对方确实有权要求返还利息，你可以与他协商解决；如果协商不成，对方可能会通过法律途径解决，届时你可以积极应诉，维护自己的合法权益。如果你对此还有疑问，可以直接向我咨询。