男方有权起诉变更抚养关系。在离婚协议中约定抚养权归男方，但实际抚养人为女方的情况下，如果男方想要回孩子，他可以通过起诉来要求变更抚养关系。

具体分析

1. 法律依据：

   • 根据《最高人民法院关于适用〈民法典〉婚姻家庭编的解释（一）》第五十六条，具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：
     • 与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；
     • 与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；
     • 已满八周岁的子女，愿随另一方生活，该方又有抚养能力；
     • 有其他正当理由需要变更。

2. 变更抚养权的途径：

   • 协商：双方可以首先尝试通过协商来变更抚养权。如果女方同意变更，双方可以签订新的抚养协议，明确抚养权的变更。
   • 诉讼：如果协商不成，男方可以向人民法院提起诉讼，要求变更抚养权。在诉讼过程中，男方需要提供充分的证据来证明存在上述法定情形之一，以支持其变更抚养权的诉求。

3. 证据准备：

   • 男方应准备相关证据，如医疗证明、证人证言、孩子的生活照片或视频、学校报告等，以证明女方存在不适合继续抚养孩子的情形，或者男方具备更好的抚养条件和能力。

4. 法院的审理原则：

   • 法院在审理此类案件时，会综合考虑多种因素，包括父母双方的抚养能力、抚养条件、孩子的年龄和意愿等，以作出最有利于孩子健康成长的判决。

结论与建议

综上所述，男方在离婚协议中约定抚养权归自己，但实际由女方抚养的情况下，有权通过起诉来要求变更抚养关系。但为了确保诉讼的成功，男方需要充分了解相关法律规定，积极收集证据，并评估自己的抚养能力和条件。同时，法院在审理此类案件时会综合考虑多方面因素，以作出最符合孩子利益的判决。因此，男方在提起诉讼前应充分准备，并咨询专业律师以获取法律帮助和支持。