将利息退还给服务对象是否违法，这主要取决于利息的收取是否合法以及退还的具体情况。以下从不同角度为你详细分析：
利息收取合法的情况：
- 如果在民间借贷中，双方约定的利息没有超过法律规定的上限（即合同成立时一年期贷款市场报价利率的四倍），那么这部分利息是合法的。
- 在这种情况下，如果借款人已经支付了利息，但后来由于某种原因（如双方协商、借款人提前还款等）需要退还部分或全部利息，这种退还行为是合法的，不构成违法。
利息收取不合法的情况：
- 如果双方约定的利息超过了法律规定的上限，那么超过部分的利息是不受法律保护的，即属于“高利贷”范畴。
- 在这种情况下，如果出借人已经收取了超过法定上限的利息，借款人有权要求出借人退还这部分利息。如果出借人拒绝退还，借款人可以通过法律途径来维护自己的权益。
- 特别需要注意的是，如果出借人以非法占有为目的，通过虚构事实、隐瞒真相等手段骗取借款人支付高额利息，这种行为可能构成诈骗罪或其他相关犯罪，此时退还利息不仅不是违法，反而是出借人应当承担的法律责任之一。
退还利息的具体操作：
- 无论是合法利息还是非法利息的退还，都应当通过合法、正当的途径进行。例如，双方可以协商签订退还协议，明确退还的金额、时间、方式等；或者通过法院调解、判决等方式来确定退还事宜。
- 在退还过程中，应当保留好相关证据（如转账记录、收据、协议等），以便在需要时证明自己的权益。
法律建议：
- 如果你作为出借人，在考虑退还利息时，应当先审查自己收取的利息是否合法。如果合法，可以根据双方协商或合同约定来决定是否退还；如果不合法，则应当主动退还超过法定上限的部分利息，以避免法律风险。
- 如果你作为借款人，在认为出借人收取的利息不合法时，可以要求出借人退还超过法定上限的部分利息。如果出借人拒绝退还，你可以向当地金融监管部门投诉或向法院提起诉讼来维护自己的权益。
可能法律后果：
- 如果出借人拒绝退还非法收取的利息，可能会面临借款人的投诉、诉讼等法律风险，甚至可能承担刑事责任（如诈骗罪等）。
- 如果借款人无理要求退还合法收取的利息，可能会损害出借人的合法权益，出借人可以通过法律途径来维护自己的权益。
总之，将利息退还给服务对象是否违法取决于多种因素。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。