男方在特定情况下可以起诉要回抚养权。接下来，我将对此进行详细分析：

一. 抚养权归属的基本原则

• 根据《民法典》第一千零八十四条，父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。父母对于子女仍有抚养、教育、保护的权利和义务。
• 抚养权的归属首先应考虑子女的最大利益，确保他们的身心健康和合法权益得到保障。

二. 男方起诉要回抚养权的条件

1. 女方不适宜抚养：

    - 如果女方患有严重疾病或因伤残无力继续抚养子女，或者女方存在虐待、遗弃子女等行为，对子女身心健康有不利影响，男方可以基于这些理由起诉要求变更抚养权。
    - **法律依据**：《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五十六条明确规定了可以变更抚养权的情形，包括与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女，以及有虐待子女行为等。
   

2. 男方抚养条件更优：

    - 如果男方能够证明自己的抚养条件（如经济能力、生活环境、教育资源等）比女方更优，且更有利于子女的成长，男方也可以起诉要求变更抚养权。
   

3. 子女意愿：

    - 如果子女已经年满八周岁，并且明确表示愿意跟随男方生活，男方也可以基于子女的意愿起诉要求变更抚养权。
    - **法律依据**：同样依据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五十六条，已满八周岁的子女愿随另一方生活，该方又有抚养能力，是变更抚养权的正当理由之一。
   

三. 实际案例的考量

• 在本案例中，女方虽然将孩子交给外婆抚养，但这并不直接构成男方起诉要回抚养权的充分理由。男方需要综合考虑女方的抚养能力、行为以及男方的抚养条件和子女的意愿等因素，来判断是否有足够的依据起诉要求变更抚养权。

综上所述，男方在特定情况下可以起诉要回抚养权，但需要满足一定的条件和提供充分的证据。我建议男方在决定起诉前，先仔细评估自己的抚养条件和女方的抚养行为，以及子女的意愿，确保自己的诉求是合理且符合法律规定的。如有进一步需要，您可以继续咨询我。