若您拒绝退赔，可能面临以下法律后果：

1. 银行卡持续冻结
   根据《公安机关办理刑事案件程序规定》第二百四十七条，公安机关对涉案财物采取冻结措施后，若您未配合退赔违法所得，公安机关有权继续冻结您的银行卡账户。即使您提交了不知情证据，若公安机关认为您与案件存在关联性（如资金流转路径、账户使用记录等），仍可能以“未排除嫌疑”为由维持冻结措施。

2. 刑事责任风险升级
   若您明知账户被用于违法犯罪活动（如电信诈骗、网络赌博等），仍拒绝退赔，可能被认定为“主观明知”或“共同犯罪”。根据《刑法》第三百一十二条，若构成掩饰、隐瞒犯罪所得罪，可能面临三年以下有期徒刑、拘役或管制；情节严重的，处三年以上七年以下有期徒刑。即使您主张不知情，若公安机关通过证据链（如账户异常交易记录、您与上游犯罪分子的联系等）证明您“应当知情”，仍可能追究刑事责任。

3. 民事赔偿义务
   若您的账户被用于接收、转移赃款，导致被害人经济损失，被害人可能通过民事诉讼要求您承担赔偿责任。根据《民法典》第一千一百六十五条，若您未尽到合理注意义务（如未及时挂失、未核实资金来源等），可能被判决承担部分或全部赔偿责任。

建议行动方向：

• 核实退赔要求合法性：要求公安机关出具书面《退赔通知书》，明确退赔金额、法律依据及账户解冻条件。若退赔金额与您实际涉案金额不符，可提出异议并要求复核。
  
• 协商分期退赔：若您确实无力一次性退赔，可与公安机关协商分期退赔方案，并签订书面协议，避免因拒不退赔被采取强制措施。
  
• 申请法律救济：若您认为公安机关冻结措施违法（如超范围冻结、超期冻结），可依据《公安机关办理刑事案件程序规定》第一百九十六条，向公安机关申请复议，或向同级人民检察院申请立案监督。
  

温馨提示：
退赔解卡的核心逻辑是“排除您与犯罪活动的关联性”。若您能通过退赔证明账户资金与犯罪无关（如退赔后公安机关解除冻结），或提供充分证据证明您对账户被用于犯罪不知情（如账户被盗用记录、报警记录等），可最大限度降低法律风险。若您对具体操作流程或证据收集有疑问，可直接向我咨询，我将结合您的案件细节提供针对性建议。