结论：老公用共同财产转账给小三，小三又给他转账的情况下，是否需要退还取决于转账的具体性质、目的和金额大小。以下是对此问题的详细分析：
一、老公转给小三的钱
夫妻共同财产的处分权：
- 在婚姻关系中，夫妻双方对共同财产享有平等的处理权。老公未经你同意，擅自将夫妻共同财产赠与小三，这种赠与行为通常被认定为无效，因为这侵犯了你对共同财产的合法权益。
大额转账与赠与的无效性：
- 如果老公背着你，陆续给小三转账大额款项用于购买房产、奢侈品等，这些转账很可能被视为对夫妻共同财产的非法处置。你发现后，有权要求小三返还这些款项。
证据的重要性：
- 在处理此类纠纷时，收集转账记录、聊天记录、通话录音等相关证据至关重要。这些证据将有助于证明转账的性质和目的，以及是否侵犯了夫妻共同财产的权益。例如，转账记录可以显示转账的时间、金额和收款人；聊天记录可能揭示转账的意图和背景；通话录音则可能提供直接的证据来支持你的主张。
二、小三转给老公的钱
正常赠与或合法债务：
- 如果小三出于感情自愿给老公一些钱财用于日常消费，且不存在胁迫等违法情形，这一般被视为正常的赠与行为，老公无需退还。
- 如果小三基于和老公之间存在的合法债务关系（如借款）而转账给老公，老公也只需按照债务关系处理，履行还款义务即可。但这种情况下，如果债务关系不真实或存在欺诈，你仍有权要求小三说明情况并可能要求返还。
特定目的的转账：
- 如果小三转账给老公是为了让老公去实施某种违法犯罪行为，或者存在重大误解等情形，小三可以要求老公退还。但此时，小三需要提供充分的证据来证明转账存在这些特殊情况。同样，如果你能证明这一点，也可以要求小三返还相关款项。
小额转账的处理：
- 对于日常开销的小额转账，一般不被视为对夫妻共同财产的非法处置，因此通常无需退还。但如果这些小额转账频繁且累计金额较大，且明显超出了日常消费的范围，你仍有权要求小三说明情况并可能要求返还。
三、综合分析与建议
- 在处理老公和小三相互转账的问题时，应首先明确转账的性质、目的和金额大小。这有助于你判断哪些转账是合法的，哪些可能是非法的或需要退还的。
- 对于涉及夫妻共同财产的大额转账，特别是赠与性质或用于购买贵重物品的转账，你通常有权要求小三退还。这可以通过协商、调解或诉讼等方式实现。
- 对于小额转账或基于合法原因的转账，则应根据具体情况进行判断和处理。如果转账行为没有侵犯你的合法权益或没有违反法律法规，那么可能无需退还。
- 在任何情况下，收集并保留好相关证据都是至关重要的。这有助于你在处理纠纷时提供有力的支持。
举例说明：假设你发现老公给小三转账了50万元用于购买房产，而小三又给老公转账了10万元作为“回礼”。在这种情况下，你有权要求小三返还那50万元，因为这是对夫妻共同财产的非法处置。而对于那10万元，如果它是基于合法债务或正常赠与的，则可能无需退还；但如果它是为了掩盖非法行为或存在其他特殊情况，则可能需要根据具体情况进行判断和处理。
最后建议：如果你遇到了类似的问题，建议直接向我咨询，我会根据你的具体情况提供更具体的法律建议和帮助。