结论：男方是否能要回赠与女方的4万元，需根据具体情况判断，主要看赠与的性质以及是否符合法定撤销条件。以下分情况详细说明：
一、赠与性质为一般赠与
如果男方赠与女方的4万元属于一般赠与，即男方出于自愿、无偿地将财产给予女方，且没有附加任何条件或目的（如以结婚为目的的赠与），那么根据《中华人民共和国民法典》中关于赠与合同的规定，赠与财产的权利一旦转移，赠与人就不得随意撤销赠与。
法律背景：
- 《中华人民共和国民法典》第六百五十七条规定：“赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。”
- 《中华人民共和国民法典》第六百五十八条规定：“赠与人在赠与财产的权利转移之前可以撤销赠与。经过公证的赠与合同或者依法不得撤销的具有救灾、扶贫、助残等公益、道德义务性质的赠与合同，不适用前款规定。”
分析：
- 在此情况下，由于赠与已经完成，且没有法定撤销事由，男方通常无法要回这4万元。
二、赠与性质为附条件赠与或以结婚为目的的赠与
如果男方赠与女方的4万元是附条件的赠与，或者明确是以结婚为目的的赠与（如彩礼），那么情况就有所不同。
法律背景：
- 对于附条件的赠与，如果条件未成就或受赠人未履行约定义务，赠与人有权撤销赠与并要求返还财产。
- 对于以结婚为目的的赠与（彩礼），如果双方未办理结婚登记手续、办理结婚登记手续但确未共同生活，或者婚前给付并导致给付人生活困难，赠与人也有权要求返还。
分析：
- 附条件赠与：如果男方在赠与时明确附带了条件（如要求女方与其结婚、保持忠诚等），且女方未履行这些条件，男方可以依据《中华人民共和国民法典》中关于附条件赠与的规定，要求撤销赠与并返还财产。但需要注意的是，这种条件的设定必须合法且明确，不能违反公序良俗或法律法规的强制性规定。
- 以结婚为目的的赠与（彩礼）：如果这4万元被认定为彩礼，且双方因男方过错而分开，未办理结婚登记手续或办理了但未共同生活，或者婚前给付导致男方生活困难，男方可以依据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》的相关规定，要求女方返还彩礼。但具体返还比例和方式需根据双方实际情况和法院判决来确定。
三、男方存在过错对赠与返还的影响
如果男方在赠与后存在过错（如出轨、家暴等），这通常不会直接影响赠与的返还问题，除非该过错与赠与的条件或目的直接相关（如以忠诚为条件的赠与）。然而，在离婚纠纷或分手协商中，男方的过错可能会成为女方拒绝返还或要求减少返还金额的理由之一。
建议：
- 如果男方希望要回这4万元，首先需要明确赠与的性质和目的，并收集相关证据（如赠与合同、聊天记录、转账记录等）来支持自己的主张。
- 如果双方无法协商解决，男方可以考虑通过法律途径来维护自己的权益。但在此之前，建议咨询专业律师以获取更具体的法律建议和指导。
总结：男方是否能要回赠与女方的4万元取决于赠与的性质和目的以及是否符合法定撤销条件。如果是一般赠与且已完成，通常无法要回；如果是附条件赠与或以结婚为目的的赠与，且条件未成就或目的未实现，则有可能要回。在处理此类问题时，建议咨询专业律师以获取更准确的法律建议。