结论：是否需要退回利息，取决于多个因素，包括利息的合法性、双方之间的约定以及是否存在违法或不当行为等。以下从不同角度进行分析：
一、利息的合法性
合法利息：如果双方约定的利息在法律允许的范围内（即不超过一年期贷款市场报价利率的四倍），且没有违反其他法律法规的强制性规定，那么该利息是合法的。在这种情况下，即使对方已经还清了本金和利息，你通常也没有义务退回已收取的合法利息。
非法利息：如果双方约定的利息超过了法律允许的范围，或者存在其他违法情形（如高利贷、套路贷等），那么超出的部分利息可能是非法的。在这种情况下，对方有权要求你退回非法的利息部分，甚至可能面临法律制裁。
二、双方之间的约定
明确约定：如果双方在借款合同中明确约定了利息的支付方式、金额和期限等，且该约定不违反法律法规的强制性规定，那么双方应当按照约定履行。在这种情况下，如果对方已经按照约定还清了本金和利息，你通常没有义务退回利息。
未明确约定或约定不明：如果双方在借款合同中没有明确约定利息，或者约定不明确，那么根据相关法律法规的规定，可能视为无息借款。在这种情况下，如果你之前收取了利息，对方有权要求你退回。但需要注意的是，如果双方在实际履行过程中形成了事实上的利息支付习惯，且该习惯不违反法律法规的强制性规定，那么可能视为双方对利息有了新的约定。
三、是否存在违法或不当行为
信用卡套现的违法性：信用卡套现本身是一种违法行为，它违反了信用卡的使用规定和金融管理秩序。如果你通过信用卡套现的方式向对方放款，并收取了利息，那么你的行为可能构成非法经营或违法发放贷款等违法行为。在这种情况下，对方不仅有权要求你退回利息，还可能向相关部门举报你的违法行为。
其他不当行为：如果你在放款过程中存在欺诈、胁迫等不当行为，或者收取的利息明显过高且缺乏合理依据，那么对方也有权要求你退回利息，并可能寻求法律救济。
四、建议与风险提示
审查借款合同：建议你仔细审查与对方签订的借款合同，明确双方的权利和义务，特别是关于利息的约定。如果合同中存在违法或不当条款，应及时与对方协商修改或解除合同。
咨询专业意见：如果你对利息的合法性或双方之间的约定存在疑问，建议咨询专业律师或金融监管机构的意见，以确保你的行为合法合规。
谨慎处理纠纷：如果对方已经起诉你要求退回利息，建议你积极应对诉讼，提供相关证据证明你的行为合法合规。同时，你也可以考虑与对方进行协商和解，以避免不必要的法律纠纷和损失。
最后，信用卡套现放款并收取利息的行为存在较大的法律风险。建议你今后遵守相关法律法规和金融管理秩序，避免从事类似违法行为。如果你有任何法律问题或需要进一步的法律帮助，请直接向我咨询。