结论：银行卡涉及诈骗案后，并非必须退赔才能解除冻结，是否需要退赔取决于具体情况。
一、是否需要退赔的法律依据与实务分析
善意取得制度：
- 根据相关法律规定，如果银行卡持有人是善意取得诈骗（涉案）财物的，那么这部分财物不予追缴及退还。这意味着，如果持卡人并不知情且没有过错，那么其银行卡内的资金可能不会被要求退赔。
实务操作中的差异：
- 在实务中，很多当事人账户被冻的原因都是收了涉案款项（最常见是外贸收款）。在联系公安处理时，确实可能会被要求退还涉案款项才会解冻。但这并不意味着所有情况下都必须退赔。
- 对于涉案金额不大的当事人，可能会选择“破财免灾”，即退赔以尽快解冻账户。然而，对于涉案金额很大的当事人，显然不愿意轻易退让。
二、如何维护自身权益
明确拒绝不合理要求：
- 如果公安机关提出的退还要求不合理或无法律依据，持卡人应明确拒绝，并可以提交书面的申诉材料，说明自己的立场和理由。
向有关部门申诉：
- 若公安机关不解冻账户，持卡人可以继续向有关部门申诉，如上级公安机关、检察院或法院等，寻求更公正的处理。
提起异议：
- 待案件移送到法院后，持卡人可就涉案金额提起异议，由法院认定是否应追缴。法院会根据案件事实和法律规定，作出公正的裁决。
三、可能面临的法律后果
账户持续冻结：
- 如果持卡人拒绝退赔且申诉未果，账户可能会持续冻结，影响持卡人的正常生活和经营活动。
法律责任：
- 如果持卡人确实涉及诈骗案，且拒不退赔，可能会面临法律责任，包括刑事责任和民事责任。但这一后果取决于持卡人在案件中的具体角色和过错程度。
建议：面对银行卡涉及诈骗案的情况，持卡人应保持冷静，了解自己的权利和义务。如果认为退赔要求不合理或无法律依据，可以寻求专业律师的帮助，通过合法途径维护自己的权益。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。