结论：能否要回违规利息需视具体情况而定，包括利息计算是否合法、是否超过法定上限、银行是否违规操作以及是否已过诉讼时效等因素。
一、利息计算的合法性
法定利率上限：
- 根据《最高人民法院关于审理民间借贷案件适用法律若干问题的规定》（虽针对民间借贷，但信用卡利息计算原则类似），借贷双方约定的利率未超过合同成立时一年期贷款市场报价利率（LPR）的四倍，受法律保护。超过部分的利息约定无效，借款人可请求出借人返还已支付的超过部分的利息。
- 信用卡利息计算通常遵循银行与持卡人之间的合同约定，但不得违反法律法规的强制性规定。若银行计算的利息超过法定上限，持卡人有权要求返还超额部分。
银行违规操作：
- 若银行在计算利息时存在违规行为，如未明确告知利息计算方式、擅自提高利率、未按照合同约定计算利息等，持卡人可要求银行纠正错误，并返还因违规操作而多收取的利息。
二、诉讼时效问题
诉讼时效期间：
- 根据《民法典》规定，普通民事案件的诉讼时效期间为三年，自权利人知道或者应当知道权利受到损害以及义务人之日起计算。
- 若持卡人长期未对信用卡利息提出异议，且银行也未采取法律手段追讨，可能面临诉讼时效届满的风险。此时，银行可能丧失胜诉权，但持卡人主动要求返还违规利息的权利并不因此消灭，只是银行可能不再承担法律责任。
诉讼时效中断：
- 若在诉讼时效期间内，持卡人向银行提出异议、要求返还违规利息，或者银行向持卡人发出催收通知等，均可导致诉讼时效中断，重新计算诉讼时效期间。
三、实际操作建议
评估利息计算：
- 持卡人应首先评估银行计算的利息是否合法、合规，是否超过法定上限。可通过查阅信用卡合同、银行公告、相关法律法规等方式进行核实。
与银行协商：
- 若发现银行计算的利息存在违规行为，持卡人可主动与银行联系，说明情况，要求银行纠正错误并返还超额利息。协商过程中，应保留好相关证据，如信用卡合同、账单、沟通记录等。
寻求法律援助：
- 若与银行协商无果，持卡人可考虑寻求法律援助，通过法律途径维护自己的合法权益。可咨询专业律师，了解具体法律程序和维权策略。
注意诉讼时效：
- 持卡人在要求返还违规利息时，应注意诉讼时效问题。若已接近或超过诉讼时效期间，应尽快采取行动，避免丧失胜诉权。
举例说明：假设持卡人欠信用卡本金1万元，银行按照年利率36%计算利息（超过法定上限），持卡人已支付多年利息。此时，持卡人可要求银行返还超过法定上限部分的利息。若银行拒绝，持卡人可通过法律途径维权，但需注意诉讼时效问题。
后续行动建议：持卡人应尽快评估利息计算情况，与银行协商解决；若协商无果，可寻求法律援助；同时，注意保留好相关证据，以备不时之需。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。