结论：在此情况下，女方能否要回已还的房贷，主要取决于离婚协议的具体内容、双方的实际履行情况以及是否存在可撤销或变更离婚协议的法定情形。以下从不同角度进行分析：

1. 离婚协议的效力

   • 离婚协议是双方真实意思的表示，且不违反法律、行政法规的强制性规定，不违背公序良俗的，自双方办理离婚登记之日起即具有法律效力。若离婚协议中明确约定房子归男方，房贷也归男方承担，那么该约定对双方均具有约束力。
   • 法律背景：根据《中华人民共和国民法典》第一千零七十六条：“夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请离婚登记。离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。”

2. 女方实际还贷的情况

   • 尽管离婚协议中约定房贷归男方承担，但若女方在实际生活中仍然承担了房贷的还款责任，这可能构成对离婚协议的履行变更或者双方之间形成了新的债权债务关系。
   • 法律分析：女方可以保留相关还贷证据（如银行转账记录、还款凭证等），以证明其实际承担了房贷还款责任。若男方对此予以认可，双方可以协商解决；若男方不认可，女方可以通过法律途径主张其权益，如要求男方返还其已还的房贷部分，或者基于不当得利等法律原则要求男方给予相应补偿。

3. 可撤销或变更离婚协议的法定情形

   • 如果女方能够证明在签订离婚协议时存在欺诈、胁迫等情形，导致其在违背真实意思的情况下签订了离婚协议，那么女方有权在法定期限内（一般为自知道或者应当知道撤销事由之日起一年内）向人民法院请求撤销该离婚协议中关于房贷承担的部分。
   • 法律背景：根据《中华人民共和国民法典》第一百四十八条至第一百五十一条以及第一千零九十二条等相关规定，因欺诈、胁迫等情形签订的合同（包括离婚协议中的财产分割部分）可撤销，且一方隐藏、转移、变卖、毁损、挥霍夫妻共同财产，或者伪造夫妻共同债务企图侵占另一方财产的，在离婚分割夫妻共同财产时，对该方可以少分或者不分。

4. 建议与行动

   • 收集证据：女方应尽快收集所有与还贷相关的证据，包括银行转账记录、还款凭证、与男方的沟通记录等，以证明其实际承担了房贷还款责任。
   • 协商解决：在证据充分的情况下，女方可以尝试与男方进行协商，看是否能够达成一致意见，如男方返还部分或全部已还房贷等。
   • 法律途径：若协商无果，女方可以向人民法院提起诉讼，要求男方返还其已还的房贷部分或给予相应补偿。在诉讼过程中，女方应充分阐述自己的主张和理由，并提供充分的证据支持。

后续思考：在处理此类纠纷时，关键在于证据的收集和法律程序的遵循。女方应确保自己有足够的证据来证明其主张，并按照法律程序进行操作。同时，双方也应尽量保持冷静和理性，通过协商或法律途径来解决问题，避免不必要的冲突和损失。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。