结论：不可以不退赔。从法律责任、账户解冻以及道德层面来看，退赔都是必要的。
法律责任层面
赃款处理原则：
- 根据我国法律，赃款应当依法追缴并退还给受害人。这是法律对赃款处理的基本原则，旨在保护受害人的合法权益，维护社会公平正义。
- 如果您明知是赃款而仍然接受，并拒绝退赔，那么您可能构成掩饰、隐瞒犯罪所得罪。根据《中华人民共和国刑法》第三百一十二条的规定，明知是犯罪所得及其产生的收益而予以窝藏、转移、收购、代为销售或者以其他方法掩饰、隐瞒的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；情节严重的，处三年以上七年以下有期徒刑，并处罚金。
账户冻结与解冻：
- 您的银行卡因涉及赃款而被冻结，这是公安机关为了调查案件、追缴赃款而采取的合法措施。
- 如果您拒绝退赔赃款，那么您的银行卡可能会继续被冻结，甚至可能面临更严重的法律后果。相反，如果您积极配合退赔，那么您的银行卡可能会更快地得到解冻。
账户解冻层面
- 积极配合退赔：为了尽快解冻您的银行卡，您应当积极配合公安机关的调查，并主动退赔赃款。这不仅可以减少您的法律风险，还可以加快账户的解冻进程。
- 提供相关证据：在退赔过程中，您可能需要提供相关证据来证明您的清白和退赔的诚意。这些证据可能包括交易记录、聊天记录等。
道德层面
- 尊重他人权益：从道德角度来看，退赔赃款是尊重他人权益的表现。受害人因为骗子的行为而遭受了经济损失，他们有权要求追回损失。
- 维护社会诚信：拒绝退赔赃款会损害社会的诚信体系。如果每个人都对赃款视而不见，那么社会的公平正义将无法得到维护。
建议与行动：
- 立即联系公安机关：建议您立即联系冻结您银行卡的公安机关，了解案件的具体情况，并表达您愿意退赔赃款的诚意。
- 准备退赔资金：在联系公安机关的同时，您应当准备好退赔所需的资金，以便在需要时能够及时退赔。
- 咨询专业律师：如果您对退赔过程或相关法律责任有疑问，可以咨询专业律师以获取更详细的法律建议。
后续注意事项：
- 在退赔过程中，务必保留好相关证据和交易记录，以备不时之需。
- 如果您在退赔过程中遇到任何问题或困难，可以及时向我咨询，我将为您提供专业的法律帮助。