男方在特定情况下能要回抚养权。具体来说，当满足以下条件之一时，男方可以向法院提起诉讼，请求变更子女抚养关系：

1. 与子女共同生活的女方因患严重疾病或者因伤残无力继续抚养子女。例如，女方患上了严重的疾病，无法正常照顾孩子的生活和学习，这种情况下男方可以请求变更抚养权。

2. 女方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响。比如，女方长期对孩子不管不顾，甚至打骂孩子，这将对孩子的身心健康造成不利影响，男方有权要求变更抚养权。

3. 子女已满八周岁，愿随男方生活，且男方又有抚养能力。因为八周岁以上的子女已经有了一定的自主意识，其意愿在抚养权判定中有重要的参考价值。如果孩子明确表示愿意跟随男方生活，且男方具备抚养能力，那么男方可以要回抚养权。

4. 有其他正当理由需要变更抚养权。例如，女方因工作变动需要长期出国，无法继续抚养孩子，或者女方的生活环境发生重大不利变化，不利于孩子成长等情况，男方也可以主张变更抚养权。

在提出变更抚养权的请求时，男方需要收集相关证据，以证明上述情形的存在。如果证据充分，且符合法律规定的条件和程序，法院将依法支持男方的请求，变更子女的抚养关系。如果证据不足或不符合法律规定的条件和程序，法院将维持原判决。

总之，男方要回抚养权需符合法律规定的条件和程序，并需要提供充分的证据来支持自己的主张。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。