在原配没有证据的情况下，婚外情男人直接给现金，一般难以直接要求退回，但具体能否退回需视情况而定。以下从不同角度为你详细分析：
一、法律原则与规定
从法律原则上讲，如果婚外情男人给现金的行为被认定为是对第三者的赠与，且该赠与行为违反了公序良俗（即社会公共道德和善良风俗），那么原配作为配偶一方，是有权要求第三者返还该赠与财产的。然而，关键在于原配需要提供充分的证据来证明这一赠与行为的存在以及其性质。
二、证据的重要性
证据缺失的困境：
- 在原配没有证据的情况下，要证明婚外情男人给现金的行为是赠与，并且该赠与行为违反了公序良俗，是非常困难的。
- 法院在审理此类案件时，通常会依据“谁主张，谁举证”的原则，要求原配提供充分的证据来支持其主张。如果原配无法提供证据，那么其诉求可能会被法院驳回。
可能涉及的证据类型：
- 转账记录、银行流水等财务凭证，可以证明资金的流动情况。
- 聊天记录、短信、邮件等通讯记录，可能包含赠与的意图或相关约定。
- 证人证言，如目击者或知情人的陈述，但证人证言的证明力相对较弱，需要其他证据佐证。
三、不同情况下的处理
如果现金赠与已被消费或无法追回：
- 即使原配能够证明赠与行为的存在，但如果现金已经被第三者消费或无法追回，那么原配可能无法实际获得返还。
- 在这种情况下，原配可以考虑向婚外情男人追偿，因为该男人的行为可能构成了对夫妻共同财产的侵害。
如果现金赠与尚未被消费或可以追回：
- 如果原配能够提供充分的证据证明赠与行为的存在，并且现金尚未被消费或可以追回，那么原配有权要求第三者返还。
- 但如前所述，在缺乏证据的情况下，这一诉求的实现难度较大。
四、建议与措施
收集证据：
- 原配应尽可能收集与赠与行为相关的证据，如转账记录、聊天记录等。
- 如果可能的话，可以寻求专业律师的帮助，通过合法途径获取更多证据。
协商与调解：
- 在证据不足的情况下，原配可以尝试与第三者或婚外情男人进行协商或调解，寻求双方都能接受的解决方案。
法律途径：
- 如果协商或调解无果，原配可以考虑通过法律途径来维护自己的权益。
- 在提起诉讼前，应确保自己有足够的证据来支持自己的主张。
最后需要强调的是，每个案件的具体情况都是不同的。如果你正面临类似的问题，建议直接向我咨询，我会根据你的具体情况为你提供更详细的法律建议和帮助。