能否要回给女人的钱，需分情况讨论，主要取决于赠与行为的性质、是否侵犯夫妻共同财产权益以及是否符合法定撤销条件。具体分析如下：

1. 若赠与行为未侵犯夫妻共同财产权益，且符合一般赠与条件
   如果赠与的财产属于您的个人财产（如婚前财产、婚后明确约定归个人所有的财产等），且您自愿赠与对方，未受到欺诈、胁迫等情形影响，那么该赠与行为通常具有法律效力，您难以要求返还。

2. 若赠与行为侵犯了夫妻共同财产权益
   如果赠与的财产属于夫妻共同财产（如婚后工资、投资收益等），且未经配偶同意，擅自将大额财产赠与他人，可能侵犯了配偶对共同财产的平等处理权。在此情况下，配偶有权向法院起诉，要求确认赠与行为无效，并返还财产。法院在审理时，会综合考虑赠与财产的金额、用途、双方关系等因素，判断赠与行为是否超出日常生活需要，从而决定是否支持返还请求。

3. 若赠与行为符合法定撤销条件
   根据《民法典》相关规定，如果赠与合同附有撤销条件（如受赠人严重侵害赠与人或其近亲属的合法权益、不履行对赠与人的扶养义务等），或者赠与行为属于可撤销的民事法律行为（如因受欺诈、胁迫而赠与），您可以在法定期限内向法院申请撤销赠与，并要求返还财产。

建议：

• 如果您认为赠与行为侵犯了夫妻共同财产权益，或者符合法定撤销条件，建议及时收集相关证据（如赠与合同、转账记录、聊天记录等），并向法院提起诉讼。
  
• 在处理此类问题时，建议与配偶充分沟通，共同协商解决方案，以避免不必要的法律纠纷和家庭矛盾。

如有进一步疑问或需要具体法律帮助，请随时向我咨询。