结论：男方要求退还已支付的房贷是否合法，需根据具体情况判断，包括双方是否有书面约定、约定内容如何以及款项支付的性质等。
一、有书面约定的情况
若书面约定为赠与：
- 根据《民法典》的相关规定，赠与合同是赠与人将自己的财产无偿给予受赠人，受赠人表示接受赠与的合同。若男方在离婚后自愿支付房贷，并明确表示该款项为赠与给女方，且双方有书面约定，那么该赠与行为即具有法律效力。
- 在此情况下，男方要求退还已支付的房贷，通常是不被法律支持的，因为赠与行为一旦完成，除非存在法定撤销事由（如严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行等），否则赠与人不得随意撤销赠与。
若书面约定为借款：
- 若男方在离婚后支付房贷时，与女方有书面约定，明确该款项为借款，并约定了还款期限、利息等条款，那么该款项即构成借款关系。
- 在此情况下，男方有权要求女方按照约定退还已支付的房贷及相应利息。若女方拒绝退还，男方可以通过法律途径（如起诉）来维护自己的合法权益。
二、无书面约定的情况
若视为自愿支付：
- 若男方在离婚后自愿支付房贷，但双方并未就此签订书面约定，那么该款项可能被视为男方对女方的自愿支付或帮助。
- 在此情况下，男方要求退还已支付的房贷，可能缺乏法律依据。因为自愿支付的行为通常不构成法律上的债权债务关系，除非男方能够证明该支付行为存在错误（如误转）或受到欺诈、胁迫等情形。
若存在其他特殊情况：
- 如男方支付房贷的行为是基于某种对价或条件（如女方承诺复婚、提供其他服务等），但双方并未就此签订书面约定，那么该情况可能较为复杂。
- 在此情况下，男方要求退还已支付的房贷，可能需要根据具体证据和法律规定来判断。若男方能够证明该支付行为存在对价或条件，且女方未履行相应义务，那么男方可能有权要求退还部分或全部款项。
法律建议
- 收集证据：无论哪种情况，男方都应尽可能收集相关证据（如书面约定、转账记录、聊天记录等），以证明自己的主张。
- 协商解决：在提起诉讼前，男方可以尝试与女方进行协商，看是否能够达成和解或妥协。
- 寻求法律帮助：若协商无果，男方可以寻求专业律师的帮助，通过法律途径来维护自己的合法权益。
举例说明：假设男方在离婚后与女方签订了一份书面协议，明确约定男方自愿支付房贷作为对女方的赠与。在此情况下，若男方后来要求退还已支付的房贷，女方可以依据该书面协议拒绝男方的要求。因为赠与行为一旦完成，除非存在法定撤销事由，否则赠与人不得随意撤销赠与。
后续思考：在处理此类纠纷时，应充分考虑双方的具体情况、书面约定以及相关法律法规的规定。若存在争议或不确定之处，建议及时咨询专业律师以获取更准确的法律意见。若您有相关法律问题，可以直接向我咨询。