结论前置：
- 若财产分割协议合法有效且已履行，男方父亲通常无权起诉要回财产。
- 若存在法定无效或可撤销情形，男方父亲可能间接通过主张协议无效或可撤销来影响财产分配，但直接起诉要回财产的可能性较低。
详细分析：
首先，我们需要明确的是，协议离婚时男方将财产全部归女方的行为，本质上是一种财产分割协议。这种协议在双方自愿、平等、公平的基础上达成，且不违反法律法规的强制性规定和公序良俗时，是具有法律效力的。
一、财产分割协议的合法性
合法有效的财产分割协议：
- 如果男方和女方在协议离婚时，就财产分割达成了合法有效的协议，并且该协议已经履行完毕（即财产已经按照协议进行了转移），那么这份协议就具有了法律上的约束力。
- 在这种情况下，男方死亡后，其父亲作为男方的继承人，通常无权直接起诉要求要回已经按照协议分割给女方的财产。因为这份财产已经不再属于男方的遗产范围，而是属于女方的个人财产。
存在法定无效或可撤销情形的财产分割协议：
- 如果财产分割协议存在法定无效情形（如一方以欺诈、胁迫的手段订立合同，损害国家利益；恶意串通，损害国家、集体或者第三人利益等），或者存在可撤销情形（如因重大误解订立的合同，在订立合同时显失公平的等），那么这份协议可能被法院宣告无效或被撤销。
- 在这种情况下，如果男方父亲能够证明财产分割协议存在上述情形，他可能通过主张协议无效或可撤销来间接影响财产的分配。但需要注意的是，即使协议被宣告无效或被撤销，男方父亲也并不能直接起诉要求要回财产，而是需要通过法律程序重新进行财产分割。且重新分割时，也需要考虑女方的合法权益，并非简单地将财产全部要回。
二、男方父亲的继承权
- 男方死亡后，其遗产应由其法定继承人继承。但如前所述，如果财产已经按照合法有效的协议分割给女方，那么这部分财产就不再属于男方的遗产范围。
- 男方父亲作为男方的继承人，只能继承男方死亡时遗留的个人合法财产。如果这部分财产已经不存在（即已经按照协议分割给女方），那么男方父亲就无法继承这部分财产。
三、建议与注意事项
- 对于男方和女方来说，在协议离婚时，应确保财产分割协议的合法性和有效性。可以寻求专业律师的帮助，对协议进行审查和修改，以避免后续可能出现的法律纠纷。
- 对于男方父亲来说，如果他对财产分割协议有异议，应首先通过合法途径进行协商和调解。如果协商和调解无果，他可以考虑通过法律途径来主张自己的权益。但需要注意的是，法律途径往往耗时较长且成本较高，因此应谨慎选择。
最后，每个案件的具体情况都有所不同，因此在实际操作中还需要根据具体情况进行分析和判断。如果您或您身边的人遇到类似问题，可以直接向我咨询，我会根据具体情况提供专业的法律建议。