结论：能否要回给情人的20万现金，主要取决于资金的来源（是个人财产还是夫妻共同财产）、赠与行为的性质（是普通赠与还是特殊赠与）以及是否存在可撤销的情形。若资金为夫妻共同财产且未经配偶同意，或赠与行为违反法律或公序良俗，则配偶有权要求返还。

详细分析：

1. 资金来源：

   • 个人财产：如果这20万现金是男人个人的合法财产，且他完全基于自愿，没有欺诈、胁迫等可撤销的情形下赠与情人，那么这种赠与行为在法律上通常是有效的，难以追回。当然，如果赠与附有条件而情人未满足，男人可以依据合同法的相关规定尝试追回。
   • 夫妻共同财产：在婚姻关系中，夫妻对共同财产享有平等的处理权。如果男人擅自将大额的夫妻共同财产赠与情人，这严重损害了配偶的合法权益。在这种情况下，配偶有权以侵犯夫妻共同财产为由，向法院起诉要求情人返还这笔财产。法院通常会支持此类诉求，并判决情人返还财产。

2. 赠与行为的性质：

   • 普通赠与：如果赠与是无条件或没有特殊限制的，一旦交付即视为完成，赠与人（在这里是男人）通常难以要求返还。除非存在欺诈、胁迫等法定可撤销的情形，否则赠与行为是有效的。
   • 特殊赠与：如果赠与是基于特殊关系（如婚外情）或目的进行的，且这种关系或目的违反了法律或公序良俗，那么赠与可能被视为无效。在这种情况下，赠与人或其配偶有权要求返还赠与的财产。

3. 证据与诉讼：

   • 要证明赠与行为无效并要求返还，需要收集充分的证据，如转账记录、聊天记录、证人证言等。这些证据将有助于证明赠与行为的存在、性质以及资金来源等关键事实。
   • 在证据确凿后，可以向法院提起诉讼，要求确认赠与行为无效并请求返还财产。法院将根据法律规定和案件事实作出判决。

综合建议：

• 如果你是男人的配偶，发现丈夫擅自将大额财产赠与情人，应尽快收集证据并咨询我，我将根据你的具体情况提供针对性的法律分析和解决方案。
• 在处理此类问题时，应遵守法律法规和公序良俗，避免引发不必要的法律纠纷。同时，也要加强夫妻之间的沟通和信任，共同维护家庭的和谐与稳定。

如果你有任何进一步的疑问或需要更多的法律帮助，请随时向我咨询。