在婚外情中，并非所有赠与的钱财都需要退还，是否需要退还主要取决于钱财的性质、赠与行为的合法性以及是否存在特殊约定等因素。以下是对此问题的详细分析：

1. 赠与财物属于夫妻共同财产的情况

   • 处理原则：若一方擅自将夫妻共同财产赠与婚外情人，该赠与行为通常被视为无效，因为侵犯了配偶的合法权益。配偶有权要求婚外情人返还所赠财物。
   • 法律依据：根据《中华人民共和国民法典》第一千零六十二条，夫妻在婚姻关系存续期间所得的财产，为夫妻的共同财产，归夫妻共同所有，且夫妻对共同财产有平等的处理权。任何一方不得擅自处分。
   • 返还途径：建议首先通过友好协商解决问题；若协商无果，配偶可向法院提起诉讼，要求婚外情人返还财物。诉讼时需提供充分证据，如赠与凭证、银行流水等。
   • 特殊情况：若赠与财物已被消耗或转化，婚外情人应折价返还；若赠与时存在特殊约定（如借款、保管等），则按约定处理。

2. 赠与财物属于赠与人个人财产的情况

   • 处理原则：若赠与人赠与的是其个人财产，且赠与行为真实有效，一般情况下该赠与行为是合法的。但若赠与行为违背了公序良俗原则，如为维持不正当男女关系而进行的赠与，则该赠与行为可能被视为无效，婚外情人需返还财物。
   • 法律依据：根据《中华人民共和国民法典》第八条，民事活动不得违反法律，不得违背公序良俗。
   • 返还途径：同样遵循“协商优先”的原则；若协商不成，可通过诉讼途径解决，但需提供证据证明赠与行为违反了公序良俗。

3. 特殊赠与情况的处理

   • 小额赠与：对于恋爱期间的小额赠与，如鲜花、食品等，通常视为表达情谊的行为，无需返还。
   • 大额赠与：对于大额赠与，如房产、车辆等，无论是否属于夫妻共同财产，都应视为重要财产变动。若赠与行为无效或违反公序良俗，则婚外情人需返还财物。

法律建议：

• 在处理婚外情中的赠与财物问题时，应首先明确财物的性质（是夫妻共同财产还是个人财产）。
• 若涉及夫妻共同财产，且赠与行为未经配偶同意，则配偶有权要求返还。
• 若涉及个人财产，但赠与行为违反公序良俗，则同样可能面临返还的风险。
• 在处理此类问题时，建议保留好相关证据，如赠与凭证、银行流水、聊天记录等，以便在需要时提供证明。

可能后果：

• 若婚外情人拒绝返还财物，配偶可通过法律途径维权，包括提起诉讼等。
• 若赠与行为被认定为无效或违反公序良俗，婚外情人不仅需返还财物，还可能面临法律制裁或社会舆论压力。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。