结论概述：
收到其他单位支付的利息但决定退回，主要需要完成的手续包括与对方单位沟通确认退款事宜、准备并提交退款申请及相关证明材料、等待对方单位审核并处理退款，以及确认退款到账。以下是对这些步骤的详细解释和补充建议。
详细解答：
与对方单位沟通确认退款事宜：
- 首先，您需要与支付利息的单位进行沟通，明确表达您希望退回已收到的利息的意愿。
- 在沟通过程中，了解对方单位对于退款的具体要求和流程，包括是否需要填写特定的退款申请表、提供哪些证明材料等。
准备并提交退款申请及相关证明材料：
- 根据对方单位的要求，准备退款申请。退款申请应明确说明退款的原因、金额、收款账户信息等。
- 同时，您可能需要提供一些证明材料，如利息支付凭证、您的身份证明、银行账户信息等，以证明您确实收到了该笔利息，并且有权要求退回。
- 将退款申请和相关证明材料提交给对方单位，并保留好提交的证据，如邮件发送记录、快递单号等。
等待对方单位审核并处理退款：
- 对方单位在收到您的退款申请和相关证明材料后，会进行审核。审核过程中，他们可能会与您联系以确认某些信息或要求您补充材料。
- 一旦审核通过，对方单位会按照您提供的收款账户信息将利息金额退回给您。这个过程可能需要一定的时间，具体取决于对方单位的处理效率和银行转账的时间。
确认退款到账：
- 在对方单位处理退款后，您需要及时查看您的银行账户，确认退款是否已经到账。
- 如果退款未按时到账或金额有误，您应及时与对方单位联系，查明原因并解决问题。
补充建议：
- 保留好所有相关证据：在整个退款过程中，您应保留好所有与退款相关的证据，如沟通记录、退款申请、证明材料、银行转账记录等。这些证据在后续可能出现的纠纷中将起到关键作用。
- 了解相关法律法规：虽然退款过程主要依赖于双方单位的沟通和协商，但了解相关的法律法规也是有帮助的。例如，您可以了解《中华人民共和国合同法》中关于合同解除和退款的规定，以及《中华人民共和国税收征收管理法》中关于利息收入和税收的规定等。这些法律法规可能间接影响您的退款过程。
- 及时沟通并解决问题：如果在退款过程中遇到任何问题或纠纷，您应及时与对方单位沟通并寻求解决方案。如果无法达成一致意见，您可以考虑通过法律途径解决纠纷，如向法院提起诉讼或申请仲裁等。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询，我会根据您的具体情况提供详细的法律建议。