能否退回需分情况讨论，关键在于转账的性质及男方能否提供有效证据。具体分析如下：

1. 若转账属于借款或附条件赠与
   若男方能证明转账是借款（如借条、聊天记录中明确借款意思），或赠与附有条件（如以结婚为目的的大额转账，但最终未结婚），则可主张返还。根据《民法典》第六百六十三条，受赠人严重侵害赠与人或其近亲属合法权益、不履行扶养义务或赠与合同约定义务的，赠与人可撤销赠与并要求返还。

2. 若转账属于一般赠与或无条件表达爱意
   若转账金额较小（如日常红包、节日礼物），或男方无法证明转账附有条件，则通常视为一般赠与。根据《民法典》第六百五十八条，赠与财产权利转移后不可撤销，女方死亡后，其财产由继承人继承，男方无权要求返还。

3. 若转账涉及夫妻共同财产
   若转账资金属于夫妻共同财产（如男方用婚后收入转账），且女方死亡后，其遗产涉及该部分财产分割，男方作为配偶可能享有继承权，但需与其他继承人协商分配，而非直接“退回”转账。

建议：男方应尽快收集转账记录、聊天记录等证据，明确转账性质。若涉及大额资金或复杂情况，可进一步向我咨询具体操作流程。