需要归还，且可能涉及法律责任。以下从不同角度为您详细分析：

1. 财产归属角度
   若您丈夫的银行卡属于夫妻共同财产（如婚后工资卡），卡内资金属于夫妻共同所有。根据《民法典》第1062条，夫妻对共同财产有平等的处理权。“小三”未经您或您丈夫同意取走资金，属于无权处分，您有权要求其全额返还。
   若银行卡为您丈夫个人财产（如婚前存款或明确约定为个人所有的财产），“小三”仍无权擅自取用，您丈夫同样可要求返还。

2. 法律责任角度

   • 民事责任：若“小三”拒绝返还，您或您丈夫可通过起诉要求返还财产，并可能主张赔偿损失（如利息、维权费用）。
     
   • 刑事责任：若取款金额较大（通常5000元以上），且“小三”明知资金属于他人仍非法占有，可能涉嫌《刑法》第264条的盗窃罪，面临刑事处罚。
     
   • 特殊情形：若“小三”能证明您丈夫自愿赠与（如转账备注“赠与”且有证据），则可能不构成盗窃，但您仍可主张赠与行为无效（因违背公序良俗），要求返还。

3. 实务建议

   • 固定证据：立即保存银行卡流水、取款记录、监控录像等证据，证明资金归属及取款事实。
     
   • 协商或起诉：先尝试要求“小三”返还，若拒绝，可向法院提起民事诉讼；若金额较大或存在盗窃嫌疑，可同步向公安机关报案。
     
   • 夫妻内部协商：若您丈夫配合，可共同主张权利；若他不配合，需评估婚姻关系及财产状况，必要时通过离婚诉讼分割财产。

总结：无论资金属于夫妻共同财产还是个人财产，“小三”均无权擅自取用，您有权通过法律途径追回。具体操作需结合证据和金额，建议尽快行动以避免证据灭失。如有进一步疑问，可直接向我咨询细节。