银行卡被司法冻结并不一定需要退赔，这要根据具体情况来判断。以下是详细分析：

1. 需要退赔的情况：

   • 存在违法违规行为：如果持卡人参与了违法犯罪活动，如洗钱、诈骗、非法集资等，司法冻结其银行卡是为了调查案件和防止资金转移。在这种情况下，持卡人有责任退赔非法所得，将违法获取的资金返还给受害者或上缴国库。
   • 资金来源不合法或存在不当得利：即使持卡人没有直接参与违法犯罪活动，但如果银行卡中的资金来源不合法，比如收到了他人误转的赃款等，也需要将相关资金退赔给受害人。

2. 可能不需要退赔的情况：

   • 善意取得且无过错：如果持卡人能够证明自己是善意取得资金，并且在交易过程中没有过错，那么可能不需要退赔。例如，持卡人在正常的商业交易中，按照市场价格和正常的交易流程出售商品或提供服务，收到的款项却因上游交易环节出现问题而被认定为涉案资金。在这种情况下，如果持卡人能够提供充分的证据证明自己的交易是合法、真实且善意的，就有可能不需要退赔。
   • 司法冻结存在错误或不合理：如果司法机关的冻结行为存在错误，例如误将正常的资金交易认定为违法犯罪行为而冻结了银行卡，持卡人可以通过申诉等方式要求解除冻结，并且不需要退赔。不过，这种情况下持卡人需要提供证据证明自己的清白以及冻结行为的不合理性。

因此，银行卡被司法冻结后，是否需要退赔并不能一概而论，而是要根据具体情况来判断。如果持卡人对自己的情况不确定，建议咨询专业律师以获取更准确的法律意见。如果您有进一步的法律问题或需要详细的法律咨询，请直接向我提问。