结论：四十万存款归女方的协议离婚后，能否起诉要回这笔钱，需视具体情况而定，主要取决于离婚协议的效力以及是否存在法定可撤销或无效的情形。

分析如下：

1. 离婚协议的效力：

   • 离婚协议是双方自愿达成的，关于财产分割、子女抚养等问题的协议，一旦办理离婚登记手续，即具有法律效力。
   • 如果离婚协议中明确约定了四十万存款归女方所有，且该协议是双方真实意思表示，没有欺诈、胁迫等情形，那么这份协议是有效的，男方一般不能随意反悔要求要回这笔钱。

2. 法定可撤销或无效的情形：

   • 欺诈、胁迫：如果男方能证明在签订离婚协议时，女方存在欺诈、胁迫等行为，导致男方在违背真实意愿的情况下签订了协议，那么男方可以在法定期限内（一般为一年）向法院申请撤销该协议，并要求重新分割财产。但这种情况需要男方提供充分的证据来证明。
   • 隐藏、转移、变卖、毁损夫妻共同财产：如果女方在离婚前存在隐藏、转移、变卖、毁损夫妻共同财产的行为，且该行为影响了财产分割的公平性，那么男方可以在发现后向法院提起诉讼，要求重新分割财产。但这种情况同样需要男方提供充分的证据来证明女方的行为。
   • 协议内容显失公平：如果离婚协议中的财产分割条款显失公平，即一方明显吃亏，另一方明显占便宜，且这种不公平是出于非自愿或误解等原因造成的，那么受损方可以在法定期限内向法院申请变更或撤销该条款。但这种情况较为少见，且需要法院根据具体情况进行判断。

3. 实际操作建议：

   • 如果男方认为离婚协议存在上述可撤销或无效的情形，并想要要回四十万存款，那么他应该尽快收集相关证据，如聊天记录、转账记录、证人证言等，以证明自己的主张。
   • 男方应在法定期限内向法院提起诉讼，要求撤销或变更离婚协议中的财产分割条款。如果超过法定期限，法院可能不予受理或驳回诉讼请求。
   • 在诉讼过程中，男方应积极配合法院的调查和审理工作，如实陈述事实，提供证据，并尊重法院的判决结果。

后续行动建议：

• 如果你作为男方，认为离婚协议存在可撤销或无效的情形，并想要要回四十万存款，建议你尽快咨询专业律师，了解具体的法律程序和操作步骤。
• 在咨询律师时，请提供详细的离婚协议内容、签订过程以及你认为存在可撤销或无效情形的相关证据，以便律师能够更准确地为你提供法律建议。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。