男方可以起诉，要求女方按照离婚协议的约定归还孩子的抚养权。以下从几个方面为你详细分析：

法律背景与依据

根据《中华人民共和国民法典》的相关规定，离婚协议中关于子女抚养权的约定，对双方均具有法律约束力。这意味着，一旦离婚协议生效，双方都应当遵守协议中的各项条款，包括关于子女抚养权的安排。如果一方不履行协议中的义务，另一方有权通过法律途径来维护自己的合法权益。

男方起诉的法律依据与流程

1. 起诉准备：男方需要准备充分的证据来证明女方不愿意归还孩子抚养权的事实，这可能包括离婚协议、沟通记录（如短信、微信、邮件等）、证人证言等。这些证据将有助于法院了解案件的真实情况，并作出公正的裁决。
2. 提起诉讼：男方可以向有管辖权的人民法院提起诉讼，要求女方履行离婚协议中的约定，归还孩子的抚养权。在提起诉讼时，男方需要提交起诉状和相关证据材料。
3. 法院审理：法院在受理案件后，将依法进行审理。在审理过程中，法院会听取双方的陈述和辩论，审查相关证据，并根据事实和法律规定作出判决。
4. 执行判决：如果法院判决女方归还孩子的抚养权，但女方仍然拒绝履行，男方可以申请法院强制执行。法院将采取必要的措施来确保判决的履行，包括但不限于查封、扣押、拍卖财产等。

可能的法律后果与建议

1. 女方可能面临的法律后果：如果女方拒绝履行法院的判决，她可能会面临一系列的法律后果，包括但不限于罚款、拘留等。此外，她的行为还可能对孩子的成长产生不利影响，因为孩子需要在一个稳定、和谐的环境中成长。
2. 对男方的建议：在起诉前，男方可以尝试与女方进行沟通协商，寻求和平解决的方式。如果沟通无果，再考虑通过法律途径来维护自己的权益。同时，男方在起诉过程中应当保持冷静和理性，积极配合法院的工作，提供充分的证据来支持自己的主张。

特殊情况考虑

虽然离婚协议中约定了抚养权归男方，但法院在判决时也会考虑孩子的实际情况和利益。如果女方能够证明自己更适合抚养孩子，或者男方存在不利于孩子成长的情况（如虐待、遗弃等），法院可能会对抚养权进行重新判决。然而，这种情况需要女方提供充分的证据来支持自己的主张。

总结来说，男方可以起诉要求女方按照离婚协议的约定归还孩子的抚养权。在起诉过程中，男方需要准备充分的证据来支持自己的主张，并积极配合法院的工作。如果女方拒绝履行法院的判决，她可能会面临一系列的法律后果。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。