在双方都是婚外情的情况下，男方起诉女方仅凭转账记录，是否能要回钱款需分情况讨论：
一、转账性质为擅自处分夫妻共同财产
法律分析：
- 根据《民法典》的相关规定，夫妻在婚姻关系存续期间所得的财产，为夫妻的共同财产，归夫妻共同所有。夫妻对共同财产，有平等的处理权。
- 若男方擅自将夫妻共同财产赠与女方（即婚外情对象），这种赠与行为通常被认定为无效，因为损害了配偶对共同财产的平等处理权。
结论：
- 在此情况下，男方的配偶（若作为共同原告或第三人参与诉讼）有权要求女方返还所接受的转账款项。男方个人起诉时，若能证明转账资金来源于夫妻共同财产且未经配偶同意，法院也可能支持其返还请求。
二、转账性质为借款或合法目的
法律分析：
- 若转账是基于正常的借贷关系，且有借款意思表示及证据（如借条、聊天记录等），则出借人（男方）有权按民间借贷关系要回款项。
- 若转账是出于其他合法目的（如购买共同物品、支付共同费用等），且能提供相应证据，则通常不能要求返还。
结论：
- 在此情况下，仅凭转账记录难以主张返还，需结合其他证据证明转账性质。若无法证明是借款或合法目的，法院可能不支持返还请求。
三、转账金额及特殊意义的影响
法律分析：
- 转账金额较大时，易被认定为借款或具有特殊目的的赠与（如维持婚外情关系），此时法院可能支持返还请求。
- 转账金额较小且难以证明是借款或具有特殊目的时，法院可能倾向于认定为一般赠与行为，不支持返还。
结论：
- 转账金额及是否具有特殊意义是法院判断转账性质的重要因素。大额转账或具有明显维持婚外情关系的转账，更可能被认定为无效赠与而支持返还。
四、证据收集与诉讼策略
证据收集：
- 主张返还的一方需提供充分的证据，如转账记录、双方关于转账用途和性质的聊天记录、证人证言等。
- 证据需满足合法性、相关性及真实性的要求，非法取得的证据将无法得到认可。
诉讼策略：
- 起诉时需明确诉讼请求（如返还转账款项）、事实与理由（如转账性质、资金来源等）及法律依据。
- 可考虑将配偶列为共同原告或第三人，以增强诉讼主张的合理性。
五、特殊情况说明
- 若转账使用的是男方的个人财产：
- 男方有权自主处分其个人财产，配偶一般不能要求追回。
- 但若能证明转账是出于违背公序良俗的目的（如维持婚外情关系），即使是个人财产，也可能被认定为无效赠与而支持返还。
建议：
- 若您面临此类纠纷，建议尽快收集相关证据（如转账记录、聊天记录等），并咨询专业律师以制定合适的诉讼策略。
- 诉讼过程中需遵循法律程序，确保证据的合法性和有效性。
- 考虑到婚外情纠纷的复杂性，建议保持冷静和理性，通过合法途径维护自身权益。
有问题可以直接向我咨询，我会根据您的具体情况提供进一步的法律建议。