结论：离婚协议中约定两个孩子归女方抚养后，男方在符合法定条件的情况下，是有可能通过法律途径变更抚养权的，但并非可以随意“起诉回来”。

详细分析：

1. 抚养权变更的法律依据：

   • 根据《中华人民共和国民法典》的相关规定，父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。
   • 关于抚养权的变更，法律并未明确规定具体的变更条件，但通常考虑的是子女的利益最大化原则。如果直接抚养子女的一方因患严重疾病或者因伤残无力继续抚养子女，或者不尽抚养义务、虐待子女，或者子女确愿随另一方生活，且另一方也有抚养能力，那么另一方可以要求变更子女抚养关系。

2. 变更抚养权的法律程序：

   • 如果男方希望变更抚养权，他需要向法院提起诉讼，并提供充分的证据证明自己符合变更抚养权的条件。
   • 法院在审理此类案件时，会综合考虑子女的年龄、性别、健康状况、成长环境、父母的经济状况、教育背景、抚养意愿以及子女的意愿（如果子女已满一定年龄，通常为8周岁）等因素，来作出判决。

3. 实际操作中的考虑因素：

   • 子女的意愿：如果子女已满8周岁，且明确表示愿意随男方生活，这将是法院考虑变更抚养权的重要因素。
   • 抚养条件的变化：如果女方因疾病、伤残或其他原因无法继续抚养子女，或者男方能够提供更好的抚养条件（如更稳定的生活环境、更好的教育资源等），这也可能成为法院判决变更抚养权的依据。
   • 双方的协商：在诉讼之前，双方也可以尝试通过协商来解决抚养权的问题。如果双方能够达成一致意见，并签订书面协议，那么可以通过协议变更抚养权，而无需经过诉讼程序。

4. 法律后果与风险提示：

   • 如果男方成功变更了抚养权，他将需要承担起抚养子女的法律责任，包括提供生活费、教育费、医疗费等。
   • 如果男方未能提供充分的证据证明自己符合变更抚养权的条件，或者法院认为变更抚养权不符合子女的利益最大化原则，那么男方的诉讼请求可能会被驳回。

建议：

• 如果男方希望变更抚养权，他应该首先收集充分的证据来证明自己符合变更条件。
• 同时，他也应该考虑与女方进行协商，尝试通过和平的方式解决抚养权的问题。
• 如果协商无果，男方可以寻求专业律师的帮助，通过法律途径来维护自己的权益。

最后，抚养权的变更是一个复杂而敏感的问题，涉及到子女的切身利益和双方的权益。因此，在处理此类问题时，应该谨慎行事，并充分考虑各种因素。如果你有任何具体的法律问题或需要进一步的帮助，请随时向我咨询。