针对您提出的“婚外情主动给女方的转账，只有转账记录能要回钱吗”这一问题，我们需要从多个角度进行详细分析。
首先，仅凭转账记录要回钱款存在一定困难。转账记录本身只能证明资金从一方账户转移到了另一方账户，但无法直接证明这笔转账的性质。是借款、赠与还是其他经济往来，需要进一步的证据来支持。
若转账为借款：
- 如果转账记录能清晰表明是借款性质，并且有证据（如聊天记录、书面协议等）证明双方有借贷的意愿，那么您可以向法院起诉，要求对方返还借款。
- 在这种情况下，转账记录可以作为重要的债权凭证，但通常还需要其他证据来佐证借贷关系的存在。
若转账为赠与：
- 如果转账难以明确其性质为借款，而更可能被认定为赠与行为，那么要回钱款就会面临较大困难。
- 赠与行为一旦完成，在一般情况下是不能随意撤销的，除非符合法定撤销赠与的情形（如受赠人严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行等）。
- 特别是日常小额、具有特殊含义的赠与（如情人节520、1314等转账），通常被视为无偿赠与，难以要回。
其他考虑因素：
- 转账的时间、金额、双方的沟通情况等因素也会影响钱款能否要回。例如，如果转账时间较为久远，且双方对于钱款的性质存在争议，可能会给要回钱款带来更多的法律问题和诉讼成本。
- 如果转账是为了维持婚外不正当关系，违背公序良俗，那么赠与行为可能无效，赠与人有权要求返还。但这也需要充分的证据来支持。
建议：
- 收集更多证据：除了转账记录外，尽量收集其他能够证明转账性质的证据，如聊天记录、书面协议、证人证言等。
- 与对方协商：在收集到足够证据后，可以尝试与对方进行协商，看是否能够达成和解。
- 寻求法律帮助：如果协商无果，可以考虑通过诉讼途径解决。在此过程中，建议咨询专业律师，以便更好地维护自己的权益。
综上所述，仅凭转账记录要回婚外情中的钱款存在一定困难，但并非完全不可能。关键在于能否提供充分的证据来证明转账的性质和目的。