结论：男方给情人的钱，即便写了自愿赠予，在某些情况下仍有可能被追回，但并非绝对，需根据具体情况判断。

分析如下：

1. 自愿赠予的法律性质：

   • 自愿赠予在法律上通常被视为一种单方民事法律行为，即赠与人将自己的财产无偿给予受赠人，受赠人表示接受的一种行为。一旦赠予完成，且符合法律规定的生效要件（如赠予人具有完全民事行为能力、赠予财产合法、赠予行为不违反法律或社会公共利益等），赠予合同即生效，赠予人一般不得随意撤销。

2. 可能追回的情况：

   • 违反公序良俗：如果赠予行为违反了公序良俗（如赠予给情人），且该赠予行为损害了配偶的合法权益（如夫妻共同财产的减少），那么配偶一方有权向法院提起诉讼，要求确认赠予行为无效，并追回赠予的财产。这是因为，在婚姻关系存续期间，夫妻双方对共同财产享有平等的处理权，任何一方未经对方同意，不得擅自处分夫妻共同财产。
   • 存在欺诈、胁迫等情形：如果赠予行为是在欺诈、胁迫等情形下进行的，赠予人也有权向法院提起诉讼，要求撤销赠予合同，并追回赠予的财产。

3. 难以追回的情况：

   • 赠予财产已转移且无上述情形：如果赠予的财产已经转移给受赠人，且不存在上述违反公序良俗、欺诈、胁迫等情形，那么赠予合同通常已经生效，赠予人难以再追回赠予的财产。
   • 受赠人善意取得：如果受赠人在接受赠予时是善意的（即不知道赠予人存在婚姻关系或赠予行为可能损害他人利益），且已经支付了合理的对价（虽然在实际赠予中，情人关系往往不涉及对价支付，但此点用于说明善意取得的一般原则），那么受赠人可能构成善意取得，赠予人难以追回赠予的财产。不过，在情人关系的赠予中，由于通常不存在对价支付，因此这一点可能不适用。

法律建议：

• 如果您作为赠予人的配偶，发现赠予行为损害了您的合法权益，建议您及时收集证据（如赠予合同、转账记录、聊天记录等），并向法院提起诉讼，要求确认赠予行为无效并追回赠予的财产。
• 如果您作为赠予人，后悔赠予行为并希望追回财产，但赠予行为已经完成且不存在上述可撤销的情形，那么您可能难以通过法律途径追回财产。此时，您可以尝试与受赠人协商解决，或者寻求其他非法律途径的解决方案。

后续行动建议：

• 在处理此类问题时，建议您咨询专业律师，以便根据您的具体情况制定合适的法律策略。
• 同时，您也需要了解并尊重法律的规定和程序，避免采取过激或违法的行为来解决问题。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。