可以起诉。针对您描述的情况，以下从不同角度进行分析：
从变更抚养权角度：
- 根据《民法典》及相关司法解释，父母对子女的抚养义务是法定的，不因离婚协议中的约定而免除。若女方在离婚后不管不顾、不带走孩子，且未尽到抚养义务，男方作为直接抚养方或另一方监护人，有权向法院提起诉讼，请求变更抚养权。
- 法院在审理此类案件时，会综合考虑子女的年龄、健康状况、成长环境，以及父母双方的抚养能力和条件等因素，作出是否变更抚养权的判决。
从要求女方履行抚养义务角度：
- 即使离婚协议中约定孩子归女方抚养，但女方未实际履行抚养义务，男方也可以起诉要求女方承担抚养责任，包括支付抚养费、实际抚养孩子等。
- 法院会根据实际情况，判决女方履行相应的抚养义务，如支付拖欠的抚养费，或在实际抚养中承担更多责任。
从执行角度：
- 若法院已作出判决，要求女方履行抚养义务，但女方仍拒不执行，男方可以申请法院强制执行。
- 法院有权采取多种强制执行措施，如查封、扣押、冻结女方的财产，或将其纳入失信被执行人名单等，以迫使女方履行抚养义务。
行动建议：
- 收集证据：包括离婚协议、女方未履行抚养义务的相关证据（如聊天记录、证人证言等）。
- 咨询并委托律师：律师可以协助您准备诉讼材料，代表您出庭应诉，提高诉讼效率。
- 提起诉讼：向有管辖权的法院提起诉讼，请求变更抚养权或要求女方履行抚养义务。
在处理此类纠纷时，务必保持冷静和理性，通过法律途径维护自己和孩子的合法权益。如果您在此过程中遇到任何法律问题，可以直接向我咨询。