仅凭转账记录，在没有其他凭证的情况下，要追回给小三的钱存在一定难度，但并非完全不可能，需分情况讨论：

1. 转账记录能明确显示款项性质为借款
   • 如果转账记录上有备注信息，明确表明这笔钱是借款，比如备注“借款”字样，或者有聊天记录、录音等能佐证双方存在借贷合意，那么从法律角度，这构成了一个完整的借贷关系证据链。
   • 根据《民法典》中关于借贷合同的规定，出借人有权要求借款人返还借款。在这种情况下，你可以以借款纠纷为由向法院提起诉讼，要求小三返还钱款，胜诉的可能性较大。
2. 转账记录无法明确款项性质，但能证明存在不正当关系
   • 若转账记录没有备注，也没有其他直接证据证明是借款，但你能提供其他证据证明你与小三存在不正当男女关系，比如亲密照片、视频、证人证言等，同时能证明转账行为发生在这段不正当关系存续期间。
   • 从道德和公序良俗的角度，这种在婚外情中的转账行为违背了社会公德。配偶一方在婚姻关系存续期间，未经另一方同意，擅自将夫妻共同财产赠与小三，这种赠与行为是无效的。你可以以配偶的身份，以侵犯夫妻共同财产权为由向法院起诉，要求小三返还全部或部分钱款。不过，这种情况下，由于缺乏直接证明款项性质的证据，诉讼过程可能会相对复杂，需要充分收集和整理其他相关证据来支持你的主张。
3. 转账记录无法明确款项性质，也无法证明存在不正当关系
   • 如果既没有证据证明转账是借款，也没有证据证明存在不正当男女关系，仅凭转账记录，要追回钱款会非常困难。因为转账记录本身只能证明资金的流动情况，不能直接说明这笔钱的用途和性质。
   • 在法律上，没有足够的证据支持你的诉求，法院可能无法认定小三有返还钱款的义务，你的主张可能得不到法院的支持。

建议：

• 尽可能收集更多与转账相关的证据，如聊天记录、通话录音、证人证言等，以完善证据链，提高胜诉的可能性。
• 如果涉及夫妻共同财产，最好与配偶协商一致，共同采取法律行动，这样在证据收集和诉讼过程中会更有利。

如果你有进一步的法律问题，比如如何收集证据、具体的诉讼流程等，可以直接向我咨询。