男方可以起诉要求女方将女儿带走。在离婚协议中明确规定女儿归女方抚养的情况下，如果女方未履行抚养义务，男方可采取以下措施：
沟通协商：
- 男方首先应尝试与女方进行沟通，了解女方未带走女儿的具体原因，看是否存在误会或特殊情况。通过协商，尝试解决问题，这是最为直接且对双方伤害最小的方式。
提起诉讼：
- 若女方无故拒不履行抚养义务，男方可向法院提起变更抚养关系的诉讼。在诉讼过程中，男方需要提供充分证据，证明女方不履行抚养义务对女儿成长产生了不利影响，如女方存在虐待、遗弃孩子，或者长期不尽抚养责任等情况。
- 法院会综合考虑各种因素，包括双方的经济状况、生活环境、孩子的意愿以及女方的抚养能力等，作出是否变更抚养权的判决。
申请强制执行：
- 若法院判决变更抚养权，而女方仍不配合，男方可依据生效判决，向法院申请强制执行。通过法律手段要求女方履行抚养义务，将女儿交由男方抚养，或者确保女儿得到妥善的照顾。
在处理此类问题时，男方应始终保持冷静和理性，通过合法途径维护女儿的权益和健康成长。同时，也要考虑到女儿的感受和需要，确保她的生活稳定和心理健康。如果有任何进一步的法律问题或需要更详细的法律建议，请直接向我咨询。