孩子抚养权在男方，女方是有可能要回抚养权的。具体来说，在以下法定情形下，女方可以向法院提起变更抚养权诉讼，并要求将抚养权变更至自己名下：
男方存在虐待、遗弃孩子等不良行为：这些行为严重影响孩子的身心健康，女方可以此为由向法院主张变更抚养权，以更好地保障孩子的权益。
男方患严重疾病或伤残无力继续抚养孩子：若男方因疾病或伤残无法继续承担抚养责任，而女方有能力给予孩子合适的生活和照顾，女方可以主张变更抚养权。
双方协商一致：如果男女双方就抚养权变更达成一致意见，且该变更有利于孩子的健康成长，双方可以签订抚养权变更协议，并通过法律途径确认其效力。
其他正当理由：如男方的生活环境、经济状况等发生重大不利变化，无法为孩子提供良好的生活条件，或者孩子已满八周岁并明确表示愿意随女方生活，且女方具备抚养能力等情形，女方也可以向法院提起诉讼要求变更抚养权。
在提起变更抚养权诉讼时，女方需要提供充分的证据证明男方不适宜继续抚养孩子，以及自己具备更好的抚养条件和能力。法院在审理此类案件时，会以孩子的利益最大化为原则，综合考虑双方的经济状况、生活环境、抚养能力等多方面因素，作出是否变更抚养权的判决。
需要注意的是，变更抚养权并非易事，需要女方提供充分的证据和理由，并经过法律程序的确认。因此，在决定争取抚养权之前，女方应充分了解相关法律法规和司法实践，并咨询专业律师的意见。