关于以做情人为由男方给女方的钱能否拿回来，这个问题需要分情况来详细讨论。

首先，我们要明确款项的性质。如果男方给女方的钱是借款性质，并且有明确的借条、转账记录或者聊天记录等证据来证明这一点，那么女方是有还款义务的。在这种情况下，男方完全可以通过法律途径来要求女方归还借款。

然而，如果男方给女方的钱是基于情人关系的赠与，那么情况就会复杂一些。一般来说，赠与行为一旦完成，除非出现法定的撤销情形，否则赠与人（即男方）是不能随意撤销赠与的。这些法定的撤销情形可能包括受赠方（即女方）严重侵害赠与人或其近亲属的合法权益等。如果只是普通的日常小额赠与，比如节日红包、小礼物等，这些通常被视为无偿赠与，男方在赠与完成后是很难要回的。

另外，还有一种特殊情况是以结婚为目的的赠与，比如彩礼、购房款等大额财物。如果双方最终没有结婚，那么男方可以根据相关法律规定，要求女方返还这些以结婚为目的的赠与财物。

除了上述情况外，如果男方给女方的钱是用夫妻共同财产支付的，并且未经配偶同意，那么男方的配偶也有权以侵害其财产权益为由，要求女方返还这些财物。因为夫妻对共同财产有平等的处理权，非因日常生活需要而处分共同财产时，需要双方协商一致。

总结来说，男方能否要回给女方的钱，主要取决于款项的性质、是否有相关证据以及是否存在法定的撤销情形。如果男方想要追回这些钱，建议先明确款项的性质，并收集保留好相关证据，然后再决定是否通过法律途径来追回。

希望这个解答能够帮到你，如果你还有其他问题或者需要进一步的帮助，请随时告诉我。