核心结论：一般情况下，您不需要自己掏钱赔给对方，但需积极配合调查并根据具体情况承担相应责任。

1. 银行卡被冻结的原因及责任认定
   当您的银行卡因收到诈骗资金被冻结时，通常是因为公安机关在侦办电信网络诈骗案件过程中，发现您的账户接收了涉案资金。根据《中华人民共和国反电信网络诈骗法》第三十一条规定，公安机关有权对涉案账户采取冻结措施。此时，您是否需要赔偿取决于您是否明知或应知资金来源非法。

   • 若您完全不知情（例如正常交易中误收），且无过错，则无需承担赔偿责任。
     
   • 若您存在过错（例如出借、出租银行卡，或明知资金来源非法仍协助转移），则可能被要求退赔涉案资金，甚至承担刑事责任。

2. 退赔义务的法律依据
   根据《中华人民共和国刑法》第六十四条，犯罪分子违法所得的一切财物应当予以追缴或责令退赔。若您的账户被认定为“赃款流转工具”，且您存在过错，公安机关可能要求您退赔资金。但退赔主体通常是犯罪分子本人，您仅在过错范围内承担补充责任。

   • 例如：若您将银行卡借给他人使用，导致诈骗资金流入，您可能需退赔部分或全部资金。
     
   • 若您无过错，公安机关会依法追缴犯罪分子财产，而非要求您赔偿。

3. 您的权利与义务

   • 配合调查：您需如实向公安机关说明资金来源、交易背景等情况，提供相关证据（如交易记录、聊天记录等）。
     
   • 申请解冻：若您能证明资金合法，可向冻结机关提交解冻申请，公安机关应在3日内核实并解冻。
     
   • 法律救济：若您认为冻结措施违法，可依法申请行政复议或提起行政诉讼。

4. 风险提示

   • 切勿试图隐瞒或转移资金，否则可能构成“掩饰、隐瞒犯罪所得罪”，面临刑事处罚。
     
   • 若您曾出借、出租银行卡，建议立即停止该行为，并主动向公安机关说明情况，以减轻责任。

总结建议：
首先，您无需过度恐慌，但需积极配合调查。若您无过错，解冻后资金不会要求您赔偿；若存在过错，需根据责任大小承担退赔义务。如有疑问，可直接向我咨询具体案件处理方式。