结论：仅有银行流水等资金往来记录，在没有其他证据佐证的情况下，一般难以直接证明对方是“小三”并要求其还钱。但具体能否要回钱款，需结合资金往来的性质、目的以及能否补充其他证据等因素综合判断。以下从不同角度为你详细分析：

从证据角度分析

1. 银行流水的证明力：银行流水只能证明双方之间存在资金往来，但无法直接证明这笔资金的性质和目的。例如，可能是借款、还款、赠与，也可能是基于其他合法或非法关系的资金流动。如果仅凭银行流水，没有其他证据如聊天记录、证人证言等来证明这笔资金是因不正当男女关系而产生的，那么很难认定对方是“小三”并要求其返还钱款。
2. 证据的关联性：要证明对方是“小三”并要求其还钱，需要提供一系列证据形成一个完整的证据链，证明资金往来与不正当男女关系之间存在关联。比如，聊天记录中明确提到资金的用途与维持不正当关系有关，或者有证人能够证明双方存在不正当男女关系以及资金往来的情况。如果缺乏这些关联性证据，银行流水单独作为证据的证明力是非常有限的。

从法律关系角度分析

1. 如果是借款关系：如果能够证明银行流水中的资金是借款，那么无论对方是否是“小三”，你都有权要求其还款。此时，需要提供借条、借款合同等书面证据，或者通过聊天记录、录音等证据证明双方存在借款的合意。如果只有银行流水，没有其他证据证明是借款，那么可能会被认定为赠与或其他法律关系。
2. 如果是赠与关系：一般情况下，赠与行为一旦完成，除非存在法定撤销情形，否则赠与人不能要求受赠人返还财产。如果银行流水中的资金被认定为赠与，且不存在法定撤销情形（如受赠人严重侵害赠与人或者赠与人近亲属的合法权益、对赠与人有扶养义务而不履行等），那么你很难要求对方返还钱款。而且，如果赠与是基于不正当男女关系，在道德层面可能会受到谴责，但在法律层面，要证明赠与行为与不正当关系有关并要求返还，需要充分的证据支持。
3. 如果是基于不正当男女关系的特殊情形：如果能够证明对方是“小三”，并且资金往来是为了维持这种不正当关系，例如给对方购买房产、车辆等大额财产，或者定期给予生活费等，在一些情况下，原配可以以侵犯夫妻共同财产权为由，要求“小三”返还财产。但同样需要提供充分的证据证明资金往来与不正当关系之间的关联性，以及该财产属于夫妻共同财产。

建议

1. 收集更多证据：除了银行流水外，尽量收集其他能够证明对方是“小三”以及资金往来性质的证据，如聊天记录、录音、证人证言等。这些证据可以相互印证，形成一个完整的证据链，提高胜诉的可能性。
2. 咨询专业律师：每个案件的具体情况都不同，法律适用也可能存在差异。建议你咨询专业律师，律师可以根据你提供的具体证据和情况，为你分析案件的走向和可能的法律后果，并制定合适的诉讼策略。
3. 考虑和解或调解：如果证据不是非常充分，诉讼可能会面临一定的风险。在这种情况下，你可以考虑与对方进行和解或通过调解的方式解决纠纷，这样可以节省时间和精力，也可能获得一个相对满意的结果。

如果你还有其他关于离婚财产纠纷、离婚领域的问题，欢迎直接向我咨询。