结论前置：亲子鉴定孩子不是自己的，男方能否要回给女方的所有钱，需视具体情况而定，不能一概而论。以下从不同角度进行分析：

1. 若男方给予女方的钱款属于彩礼性质：

   • 法律背景：根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五条，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续；（二）双方办理结婚登记手续但确未共同生活；（三）婚前给付并导致给付人生活困难。在亲子鉴定孩子不是自己的情况下，若双方已结婚，但男方因给付彩礼导致生活困难，且能证明女方存在过错（如隐瞒孩子非男方亲生的事实），男方可能有机会要求返还部分或全部彩礼。然而，若双方已共同生活较长时间，且彩礼已用于共同生活开支，返还的金额可能会相应减少。
   • 法律建议：男方应收集相关证据，如彩礼给付凭证、亲子鉴定报告、生活困难证明等，以支持其返还彩礼的请求。

2. 若男方给予女方的钱款属于日常赠与或共同生活支出：

   • 法律背景：对于日常赠与或共同生活支出，如节日红包、购物消费等，这些通常被视为双方自愿的行为，且已用于共同生活或个人消费，难以要求返还。除非能证明女方存在欺诈、胁迫等违法行为，否则男方很难要回这些钱款。
   • 法律建议：在这种情况下，男方可能难以通过法律途径要回钱款，但可以考虑与女方协商解决，或寻求其他非法律途径的补偿。

3. 若男方给予女方的钱款属于借款或投资性质：

   • 法律背景：如果男方能够证明给予女方的钱款是借款或投资，且双方有明确的借款协议或投资合同，那么男方有权要求女方按照协议或合同约定返还钱款。亲子鉴定孩子不是自己的事实，可能作为女方违约或欺诈的证据，支持男方的返还请求。
   • 法律建议：男方应收集借款协议、投资合同、转账记录等证据，以证明钱款的性质及女方的违约行为。在必要时，可以向法院提起诉讼，要求女方返还钱款。

可能的其他法律后果：

• 如果亲子鉴定结果证明孩子不是男方的，且女方在婚姻关系中存在过错（如出轨、隐瞒事实等），男方在离婚时可能有权要求女方给予一定的损害赔偿。但这与要求返还钱款是两个不同的法律请求，需要分别主张。

综合建议：

• 男方在面临这种情况时，应首先收集相关证据，以证明钱款的性质、女方的过错行为以及自己的损失情况。
• 然后，根据具体情况选择合适的法律途径来维护自己的权益，如协商、调解或诉讼等。
• 在整个过程中，建议男方咨询专业律师的意见，以确保自己的权益得到充分保障。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。