要求退回信用卡扣取的违约金和利息，确实需要持卡人结合具体情况，并依据一定的法律和银行政策来操作。以下是一份详细且深入的解答，希望能帮助您更好地理解和处理这一问题：

一、了解违约金和利息的收取基础

首先，您需要明确违约金和利息的收取依据。违约金通常是因为您未按时还款或违反了信用卡的使用规定而产生的，其具体金额和计算方式在您的信用卡合同中都有明确的约定。利息则是对您透支消费或取现的金额按日计息，利率同样在合同中有所规定。

二、判断是否符合退还条件

在申请退还之前，您需要判断自己是否符合退还的条件。以下是一些常见的退还情形：

1. 非恶意逾期：如果逾期是由于银行系统故障、第三方还款失败等非您自身原因导致的，您可以申请退还违约金和利息。

2. 费用计算错误：如果银行在计算违约金或利息时存在误差，如重复计费、利率应用错误等，您有权要求更正并退还差额。

3. 特殊政策适用：部分银行在特定情况下，如疫情期间，会提供延期还款或减免费用的政策。如果您符合这些条件，也可以申请退还。

三、采取合理措施申请退还

一旦您确定自己符合退还条件，就可以采取以下措施来申请退还：

1. 联系银行客服：

   • 说明情况：清晰、准确地陈述逾期的原因和您的诉求，同时提供相关证明材料，如系统故障截图、第三方还款失败记录等。
   • 协商方案：根据银行的反馈，您可以提出分期还款或减免部分费用的请求，重点强调您并非主观故意违约。

2. 提交正式申诉：

   • 书面材料：如果与客服的沟通没有达成满意的结果，您可以通过银行官网或线下渠道提交一份正式的申诉书，详细描述事件经过、提供证据材料，并明确您的诉求。
   • 跟进进度：提交申诉后，定期联系银行客服查询处理状态，必要时补充材料以支持您的诉求。

3. 寻求外部帮助：

   • 监管投诉：如果银行拒绝您的合理诉求，您可以向银保监会等监管机构反映问题，详细说明您的遭遇和诉求。
   • 法律途径：在咨询专业律师后，如果您认为通过法律途径解决更为合适，可以在律师的指导下向法院提起诉讼，要求银行退还不合理费用。

四、注意事项

在申请退还的过程中，您还需要注意以下几点：

1. 及时行动：一旦发现扣费异常，应尽快与银行沟通，避免错过申诉时效。

2. 保留证据：完整保存还款记录、沟通录音、系统故障截图等材料，这些将作为您维权的重要依据。

3. 理性协商：在与银行和监管部门沟通时，保持冷静、理智的态度，以解决问题为导向进行沟通，避免情绪化言辞和行为。

综上所述，要求退回信用卡扣取的违约金和利息需要持卡人充分了解相关法律法规和银行政策，并按照一定步骤进行操作。希望这份解答能帮助您更好地维护自身权益。