结论：在离婚协议中明确约定房产归女方所有后，女方能否起诉驱逐男方居住，需根据具体情况判断。一般来说，如果男方继续居住构成对女方物权的侵害，女方有权起诉要求男方搬离。
分析说明：
离婚协议的法律效力：
- 离婚协议是双方真实意思的表示，且不违反法律、行政法规的强制性规定，不违背公序良俗，因此具有法律效力。
- 离婚协议中关于房产归属的约定，对双方均具有约束力。一旦协议生效，房产即归女方所有，男方应尊重并履行该约定。
物权的保护：
- 根据《中华人民共和国民法典》的相关规定，物权是权利人依法对特定的物享有直接支配和排他的权利。
- 女方作为房产的合法所有者，享有对该房产的占有、使用、收益和处分的权利。如果男方继续居住在房产内，且未经女方同意，则构成对女方物权的侵害。
起诉驱逐的法律依据：
- 如果男方继续居住在房产内，且拒绝搬离，女方可以依据《中华人民共和国民法典》中关于物权保护的规定，向法院提起诉讼，要求男方停止侵害、排除妨碍，即搬离房产。
- 法院在审理此类案件时，会综合考虑离婚协议的约定、房产的归属情况、男方的居住需求以及女方的物权保护需求等因素，作出公正的裁决。
特殊情况下的处理：
- 如果离婚协议中有特殊约定：例如，双方约定男方在一定期限内可以继续居住在房产内，或者男方对房产有某种特定的使用权等。在这种情况下，女方起诉驱逐男方可能会受到一定限制，需要依据协议的具体约定来处理。
- 如果男方有合理理由继续居住：例如，男方暂时无处可住、需要照顾子女或老人等。在这种情况下，法院可能会考虑男方的实际情况，给予一定的宽限期或采取其他措施来平衡双方的利益。
行动建议：
- 收集证据：女方在起诉前应收集相关证据，如离婚协议、房产证、男方继续居住的证据等，以证明自己的物权受到侵害。
- 咨询律师：在起诉前或诉讼过程中，女方可以咨询专业律师，了解自己的权利和义务，以及诉讼的风险和可能的结果。
- 提起诉讼：如果男方拒绝搬离且双方无法协商解决，女方可以向法院提起诉讼，要求男方搬离房产。
后续思考：
- 在签订离婚协议时，双方应尽可能明确房产的归属和使用权等事项，以避免后续纠纷。
- 如果男方继续居住在房产内且拒绝搬离，女方应及时采取法律措施维护自己的权益，避免损失扩大。
如有更多疑问或需要进一步的法律帮助，请直接向我咨询。