结论：协议离婚时抚养权归女方，男方在特定条件下是可以起诉变更抚养权的。

详细分析：

1. 法律依据： 根据《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》第五十六条，具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：

   • 与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；
   • 与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；
   • 已满八周岁的子女，愿随另一方生活，该方又有抚养能力；
   • 有其他正当理由需要变更。

2. 变更条件及具体情形：

   • 男方能证明女方不尽抚养义务：如果男方能够提供充分证据证明女方在获得抚养权后，并未实际履行抚养义务，如长期不照顾孩子、将孩子交给他人寄养等，且这种行为对孩子的身心健康产生了不利影响，那么男方有权向法院提起诉讼，请求变更抚养权。
   • 女方因患严重疾病或伤残无力抚养：若女方因患严重疾病或伤残，确实无力继续抚养子女，男方也可以提出变更抚养权的请求。
   • 孩子已满八周岁且愿随男方生活：如果孩子已满八周岁，并且明确表示愿意跟随男方生活，且男方具备抚养能力，法院在审理时会尊重孩子的真实意愿，并可能支持男方的变更请求。
   • 其他正当理由：这是一个兜底条款，如果男方能提出其他合理且正当的理由，如女方的生活环境发生重大变化，不利于孩子的成长等，法院也会根据具体情况进行判断。

3. 诉讼过程及证据准备：

   • 证据准备：男方在起诉时，需要准备充分证据来支持自己的主张。这些证据可以包括女方不尽抚养义务的具体事实、孩子的意愿表达（如果孩子已满八周岁）、双方的经济状况、生活环境、教育背景等，以证明自己更有利于孩子的成长。
   • 诉讼过程：法院在审理此类案件时，会从有利于子女身心健康、保障子女合法权益的角度出发，综合考虑各方证据和实际情况，判断是否应当变更抚养权。

建议：

• 尝试协商：在提起诉讼之前，建议男方首先尝试与女方进行协商，看是否能够就抚养权的变更达成一致。协商变更抚养权的方式简便、高效，能充分体现双方的意愿。
• 寻求专业帮助：如果协商不成，男方在准备提起诉讼时，可以考虑聘请专业的律师提供法律咨询和代理服务。律师可以帮助男方更好地准备证据材料，制定诉讼策略，以确保自己的权益得到充分保障。

后续思考：

抚养权的变更不仅关系到父母的权益，更关系到孩子的身心健康和成长环境。因此，在决定是否提起诉讼以及诉讼过程中，男方应始终将孩子的最佳利益放在首位，确保孩子能够在一个稳定、健康的环境中成长。如果你还有其他疑问或需要进一步的法律帮助，请随时向我咨询。