是否需要退还利息，取决于借款时双方的约定以及利息是否合法。下面我分几种情况详细解释：
双方有明确约定利息：
- 如果在借款时，双方明确约定了利息，并且该利息不违反国家关于民间借贷利率的限制（即不超过合同成立时一年期贷款市场报价利率四倍），那么你有权按照约定收取利息，对方要求退还利息是没有法律依据的。
双方未明确约定利息或利息约定不明：
- 如果借款时双方没有明确约定利息，或者利息约定不明确，那么对方要求退还已支付的利息是有合理依据的。在这种情况下，你可能需要退还已收取的利息，或者与对方协商解决。
利息超过法定限制：
- 如果双方约定的利息超过了国家关于民间借贷利率的限制，那么超出部分的利息是不受法律保护的。对方有权要求退还超出部分的利息，并且如果因此发生纠纷，法院也可能支持对方的请求。
综上所述，是否需要退还利息，关键在于借款时双方的约定以及利息是否合法。如果双方有明确且合法的利息约定，你无需退还；如果约定不明或没有约定，或者利息超过法定限制，你可能需要退还部分或全部利息。建议你在处理此事时，先与对方协商解决，如果协商不成，可以寻求法律途径解决纠纷。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。