如果您不退赃款，在特定情况下，您的银行卡确实有可能被冻结或查封。以下是对此问题的详细分析：

一. 赃款的处理与法律责任

1. 赃款定义：赃款通常指的是通过非法手段获得的财物。在您的案例中，如果老公因某种违法行为被立案，且涉及到您手中的财物被认定为赃款，那么您可能需要面对退赃的问题。
2. 法律责任：根据《中华人民共和国刑法》的相关规定，隐藏、转移、变卖、毁损已被司法机关查封、扣押、冻结的财产，或者明知是上述财产而予以窝藏、转移、收购、代为销售或者以其他方法掩饰、隐瞒的，可能构成犯罪，需要承担刑事责任。

二. 银行卡冻结或查封的可能性

1. 司法程序：如果司法机关认为您手中的财物是赃款，且您拒绝退还，那么司法机关有权采取一系列强制措施，包括但不限于冻结或查封您的银行账户。
2. 执行措施：在执行过程中，如果法院认为有必要，可以依法冻结您的银行卡，以确保赃款不被转移或隐匿。

三. 实际案例与影响

• 例如，在某起贪污案件中，被告人的配偶明知其手中的财物是赃款却拒绝退还，最终导致其银行账户被法院冻结。这不仅影响了其日常生活，还可能导致其面临进一步的法律责任。

四. 我的建议

我建议您认真考虑退赃的问题。如果您确实持有赃款，且司法机关已经要求您退还，那么最好按要求进行退还，以避免不必要的法律风险和麻烦。如果您对退赃的具体事宜有疑问或不清楚如何操作，可以寻求专业律师的帮助。

综上所述，如果您不退还赃款，在特定情况下，您的银行卡确实有可能被冻结或查封。因此，我建议您认真对待此事，并尽快采取合适的行动。如有进一步需要，您可以继续咨询我。