结论：男方在离婚协议约定孩子归其抚养但孩子一直随女方生活的情况下，男方确实有权起诉女方，但具体诉求和法律后果需根据实际情况分析。以下从不同角度进行详细阐述：
一、男方起诉的法律依据与诉求可能性
变更抚养权诉求
根据《民法典》第1084条及司法解释，父母离婚后子女抚养权归属可因“情况变化”通过诉讼变更。若男方认为女方长期抚养孩子构成实际抚养关系变更（如女方拒绝交还、孩子已形成稳定生活环境），可主张变更抚养权归女方或重新协商抚养安排。
法律依据：
- 《民法典》第1084条：父母与子女的关系不因离婚而消除，子女已满八周岁的，应当尊重其真实意愿。
- 《最高人民法院关于适用〈民法典〉婚姻家庭编的解释（一）》第56条：具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：……（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力……
要求女方履行协议或赔偿诉求
若男方希望继续按协议履行（孩子归其抚养），可起诉要求女方交还孩子或承担违约责任（如赔偿因女方拒不履行导致的额外支出）。但需注意，抚养协议本质是身份关系约定，法院可能优先以“子女利益最大化”原则调整，而非单纯强制履行协议。
法律依据：
- 《民法典》第577条：当事人一方不履行合同义务或履行合同义务不符合约定的，应当承担继续履行、采取补救措施或赔偿损失等违约责任。
- 但需结合身份关系特殊性：抚养权纠纷中，法院可能以“子女利益”为由突破合同相对性，不直接支持强制履行。
二、女方可能的抗辩理由及法律后果
子女意愿抗辩
若孩子已满8周岁且明确表示愿随女方生活，法院可能支持变更抚养权。例如，孩子因长期与女方共同生活形成情感依赖，或男方存在不利于抚养的情形（如经济困难、家庭暴力等）。
法律依据：
- 《民法典》第1084条：子女已满八周岁的，应当尊重其真实意愿。
实际抚养关系抗辩
女方可主张孩子已与其形成稳定生活环境，变更抚养权不利于子女成长。法院会综合考量双方抚养条件（如经济能力、居住环境、教育资源等）及子女适应情况作出判决。
法律依据：
- 《最高人民法院关于适用〈民法典〉婚姻家庭编的解释（一）》第46条：对已满两周岁的未成年子女，父母均要求直接抚养，一方有下列情形之一的，可予优先考虑：……（四）子女随其生活时间较长，改变生活环境对子女健康成长明显不利……
三、实务建议与风险提示
男方行动建议
- 收集证据：证明女方拒不交还孩子（如聊天记录、证人证言）、自身抚养条件优于女方（如收入证明、住房条件）、孩子意愿（如录音录像，需注意合法性）。
- 协商优先：通过调解或律师函与女方沟通，避免诉讼对子女造成心理伤害。
- 诉讼策略：若坚持按协议履行，需强调女方违约行为及自身抚养能力；若同意变更抚养权，可主张女方补偿抚养期间的费用。
女方应对建议
- 准备抗辩材料：如孩子意愿证明、男方不利抚养证据（如酗酒、家暴记录）、自身抚养条件优势。
- 主动协商：若希望继续抚养，可与男方协商变更协议或支付抚养费，避免诉讼风险。
风险提示
- 诉讼可能加剧双方矛盾，对子女成长不利，建议优先通过调解解决。
- 法院判决以“子女利益”为核心，双方需避免将子女作为博弈工具。
总结：男方有权起诉，但诉求能否实现需结合子女意愿、实际抚养情况及双方条件综合判断。建议双方以子女利益为重，通过协商或调解妥善解决抚养问题。如有进一步疑问，可直接向我咨询。