结论：情人关系中一方给另一方的20万能否退回，需根据具体情况判断，主要看这笔钱是借款、赠与还是其他性质，以及是否满足法律规定的返还条件。以下从不同角度进行分析：
一、若20万为借款
法律背景：
- 根据《中华人民共和国民法典》的相关规定，借款合同是借款人向贷款人借款，到期返还借款并支付利息的合同。如果情人之间明确约定了这笔钱是借款，并且有相关的证据（如借条、转账记录、聊天记录等）证明借款事实，那么出借方有权要求借款方返还。
法律建议：
- 收集并保存所有能证明借款事实的证据，如借条、转账记录、聊天记录等。
- 与对方协商，要求其返还借款。如果协商无果，可以向法院提起诉讼，要求对方返还借款及可能的利息。
可能法律后果：
- 如果证据充分，法院可能会判决借款方返还借款及利息。
- 如果借款方拒不执行判决，出借方可以申请法院强制执行。
二、若20万为赠与
法律背景：
- 赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。如果情人之间明确约定了这笔钱是赠与，并且赠与已经完成（即钱已经转到对方账户），那么一般情况下，赠与方无权要求受赠方返还。
- 但是，如果赠与是附条件的（如以结婚为目的的赠与），或者受赠方存在严重侵害赠与方或赠与方近亲属合法权益的行为，赠与方可以撤销赠与并要求返还。
法律建议：
- 如果是附条件的赠与，收集并保存能证明赠与条件的证据。
- 如果受赠方存在严重侵害赠与方或赠与方近亲属合法权益的行为，收集并保存相关证据。
- 与对方协商，要求其返还赠与财产。如果协商无果，可以向法院提起诉讼，要求撤销赠与并返还财产。
可能法律后果：
- 如果赠与是附条件的，且条件未成就，法院可能会判决撤销赠与并返还财产。
- 如果受赠方存在严重侵害赠与方或赠与方近亲属合法权益的行为，法院也可能会判决撤销赠与并返还财产。
- 如果赠与是无条件的，且已经完成，法院一般不会判决返还。
三、其他情况
如果20万是用于共同消费或投资：
- 如果这笔钱是用于情人之间的共同消费（如旅游、购物等）或共同投资（如合伙做生意等），那么一般情况下，双方需要按照约定或实际贡献来分担费用或分享收益。在这种情况下，要求返还全部或部分款项可能会比较复杂，需要具体分析。
如果存在欺诈、胁迫等情形：
- 如果一方在给钱时存在欺诈、胁迫等情形，导致另一方在违背真实意愿的情况下接受了款项，那么受欺诈或胁迫方有权要求撤销相关行为并返还款项。
综合建议：
- 首先，你需要明确这笔20万的性质（是借款、赠与还是其他）。
- 其次，收集并保存所有能证明你主张的证据（如借条、转账记录、聊天记录、证人证言等）。
- 最后，与对方协商，尝试通过友好方式解决纠纷。如果协商无果，可以考虑向法院提起诉讼来维护自己的合法权益。
在处理此类纠纷时，建议保持冷静和理性，避免情绪化决策。如果有任何疑问或需要进一步的法律帮助，可以直接向我咨询。