结论：男方与小三共同生活期间的所有转账是否需要退还，需根据转账的具体情况和性质来判断。以下是对此问题的详细分析：

一、男方转给小三的钱

1. 夫妻共同财产的处分权

   • 在婚姻关系存续期间，夫妻双方对共同财产享有平等的处理权。男方未经女方同意，擅自将夫妻共同财产赠与小三，这种赠与行为通常被认定为无效，因为这侵犯了女方对共同财产的合法权益。

2. 大额转账与赠与的无效性

   • 如果男方背着女方，陆续给小三转账大额款项用于购买房产、奢侈品等，这些转账很可能被视为对夫妻共同财产的非法处置。女方发现后，有权要求小三返还这些款项。例如，男方在婚姻期间，未经女方同意，给小三转账50万元用于购买房产，女方可以要求小三返还这50万元。

3. 证据的重要性

   • 在处理此类纠纷时，收集转账记录、聊天记录、通话录音等相关证据至关重要。这些证据将有助于证明转账的性质和目的，以及是否侵犯了夫妻共同财产的权益。

二、小三转给男方的钱

1. 正常赠与或合法债务

   • 如果小三出于感情自愿给男方一些钱财用于日常消费，且不存在胁迫等违法情形，这一般被视为正常的赠与行为，男方无需退还。例如，小三给男方转账500元用于日常开销，这通常被视为正常赠与，男方无需退还。
   • 如果小三基于和男方之间存在的合法债务关系（如借款）而转账给男方，男方也只需按照债务关系处理，履行还款义务即可。

2. 特定目的的转账

   • 如果小三转账给男方是为了让男方去实施某种违法犯罪行为，或者存在重大误解等情形，小三可以要求男方退还。但此时，小三需要提供充分的证据来证明转账存在这些特殊情况。

3. 小额转账的处理

   • 对于日常开销的小额转账，一般不被视为对夫妻共同财产的非法处置，因此通常无需退还。

三、综合分析与建议

• 在处理男方与小三相互转账的问题时，应首先明确转账的性质、目的和金额大小。
• 对于涉及夫妻共同财产的大额转账，特别是赠与性质或用于购买贵重物品的转账，原配（即女方）通常有权要求小三退还。
• 对于小额转账或基于合法原因的转账，则应根据具体情况进行判断和处理。
• 在任何情况下，收集并保留好相关证据都是至关重要的。这有助于在纠纷发生时，证明自己的权益并维护自己的合法权益。

最后，我理解这类问题可能涉及复杂的情感和法律纠纷，如果你有任何具体的疑问或需要进一步的法律帮助，请随时向我咨询。我会根据你的具体情况，为你提供更详细、更专业的法律建议。