能否要回给“小三”的钱，与转账金额的绝对数字并无直接关联，关键在于转账的性质是否属于夫妻共同财产以及是否符合法律规定的可撤销或无效情形。以下从不同角度为你详细分析：

1. 若转账资金属于夫妻共同财产
   根据《民法典》第1062条，夫妻在婚姻关系存续期间所得的工资、奖金、投资收益等财产，原则上属于夫妻共同共有，双方享有平等的处理权。若一方未经配偶同意，擅自将共同财产赠与“小三”，该行为因损害配偶的财产权益而无效，配偶有权通过法律途径要求“小三”返还全部财产。
   举例：丈夫用夫妻共同存款向“小三”转账5万元，妻子发现后可起诉要求返还5万元，而非仅部分金额。

2. 若转账资金属于个人财产
   若转账资金为一方的婚前个人财产、因人身损害获得的赔偿等法定个人财产（见《民法典》第1063条），则赠与行为原则上有效，“小三”无需返还。但需注意：

   • 若赠与行为违反公序良俗（如以维持婚外情为目的），法院可能依据《民法典》第153条认定赠与合同无效，要求返还；
     
   • 若“小三”明知对方有配偶仍接受大额财物，可能被认定为恶意第三人，需承担返还责任。

3. 特殊情形：大额转账的推定
   司法实践中，若转账金额明显超出日常家事代理范围（如一次性转账数十万），法院可能推定该行为未取得配偶同意，从而认定赠与无效。但这一推定并非绝对，需结合双方收入、消费习惯等综合判断。

行动建议：

1. 收集证据：转账记录、对方婚姻状况证明（如结婚证）、沟通记录（证明“小三”明知对方有配偶）；
   
2. 协商或起诉：先尝试与“小三”协商返还，若协商无果，可向法院提起“赠与合同纠纷”或“夫妻共同财产分割”之诉；
   
3. 注意时效：诉讼时效为3年，自知道权利受损之日起计算。

温馨提示：法律不保护恶意第三人，但维权需以合法证据为前提。若需进一步分析具体案情，可随时向我咨询。