结论：在离婚协议约定房产归女方所有但三年后过户的情况下，女方此前能否起诉驱逐男方居住，需根据具体情况判断，若男方居住行为构成对女方物权的侵害，女方有权起诉要求排除妨害；若男方居住行为不构成侵害，女方则不能直接起诉驱逐。以下从不同角度详细分析：
一、从物权保护角度分析
根据《中华人民共和国民法典》的相关规定，物权是权利人依法对特定的物享有直接支配和排他的权利。在离婚协议中，若双方已明确约定房产归女方所有，那么女方即成为该房产的合法物权人，享有对该房产的占有、使用、收益和处分的权利。
若男方居住行为构成侵害：
- 如果男方在离婚后继续居住在该房产中，且这种居住行为未经女方同意，或者虽然曾有约定但现已违反约定（如约定了居住期限但男方超期居住），那么男方的居住行为就构成了对女方物权的侵害。
- 在这种情况下，女方作为物权人，有权依据《民法典》中关于物权保护的规定，向法院提起诉讼，要求男方排除妨害，即离开该房产。
若男方居住行为不构成侵害：
- 如果双方在离婚协议中明确约定了男方在过户前有权居住在该房产中，或者虽然未明确约定但男方居住行为符合双方之前的约定或习惯，且未对女方造成实质性损害，那么男方的居住行为可能不构成对女方物权的侵害。
- 在这种情况下，女方不能直接起诉要求驱逐男方居住，而应通过协商、调解等方式解决居住问题。
二、从合同履行角度分析
离婚协议是双方自愿达成的协议，具有法律约束力。如果离婚协议中明确约定了房产归女方所有，但过户时间延迟至三年后，这并不影响女方对房产的所有权归属。
若男方违反协议约定：
- 如果男方在离婚后继续居住在该房产中，且这种居住行为违反了离婚协议中的约定（如约定了过户后男方必须搬离），那么女方可以依据离婚协议向法院提起诉讼，要求男方履行协议义务，即搬离该房产。
若男方未违反协议约定：
- 如果离婚协议中并未明确约定男方在过户前必须搬离，或者虽然有所约定但男方居住行为符合协议中的其他条款或双方之间的补充约定，那么女方不能直接以男方违反协议为由起诉要求驱逐。
三、实际操作建议
收集证据：
- 女方应收集相关证据，如离婚协议、房产证、男方居住情况的证明等，以证明自己对房产的所有权以及男方的居住行为是否构成侵害。
协商调解：
- 在提起诉讼前，女方可以尝试与男方进行协商或调解，寻求双方都能接受的解决方案。这有助于减少诉讼成本和时间消耗。
提起诉讼：
- 如果协商调解无果，女方可以向法院提起诉讼，要求男方排除妨害或履行协议义务。在诉讼过程中，女方应积极配合法院的调查和审理工作，提供充分的证据支持自己的主张。
最后，离婚协议中房产归属及过户时间的约定对双方具有法律约束力。在男方居住行为构成对女方物权侵害或违反协议约定的情况下，女方有权起诉要求驱逐男方居住。但具体能否起诉以及诉讼结果如何，还需根据具体情况和法院的判决来确定。如果你有进一步的法律问题或需要更详细的法律建议，可以直接向我咨询。