结论：男方是否需要归还借款，需分情况讨论，具体如下：

1. 若借款被认定为夫妻共同债务：

   • 认定标准：根据《中华人民共和国民法典》第一千零六十四条，夫妻共同债务的认定主要基于两个标准：一是债务是否用于夫妻共同生活、共同生产经营；二是债务是否基于夫妻双方共同意思表示。在本案中，若女方借款造房的行为发生在婚姻关系存续期间，且所建房屋用于夫妻共同居住或作为家庭共同财产，同时男方对借款行为知情或事后追认，那么该借款很可能被认定为夫妻共同债务。
   • 法律后果：若借款被认定为夫妻共同债务，男方作为共同债务人，有义务与女方共同偿还该借款。在离婚诉讼中，法院会根据双方的经济状况、过错程度等因素，判决双方各自承担的债务份额。

2. 若借款被认定为女方个人债务：

   • 认定标准：若女方借款造房的行为未经男方同意，且所建房屋未用于夫妻共同生活或共同生产经营，或者男方能够提供充分证据证明该借款系女方个人行为，与夫妻共同生活无关，那么该借款可能被认定为女方个人债务。
   • 法律后果：若借款被认定为女方个人债务，男方则无需承担偿还责任。在离婚诉讼中，该债务将由女方个人承担，与男方无关。

额外考量因素：

• 借款用途的证明：在判断借款是否属于夫妻共同债务时，借款用途是关键。若女方能够提供充分证据证明借款确实用于造房，且该房屋用于夫妻共同居住或作为家庭共同财产，将增加借款被认定为夫妻共同债务的可能性。
• 男方是否知情或追认：男方对借款行为的知情或事后追认也是判断借款性质的重要因素。若男方对借款行为不知情且未追认，将降低借款被认定为夫妻共同债务的风险。
• 离婚协议或法院判决：若双方在离婚协议中已对债务承担作出明确约定，或法院在离婚判决中对债务承担作出了裁决，那么双方应按照协议或判决履行义务。

建议：

• 在处理此类纠纷时，建议男方积极收集证据，包括借款合同、转账记录、房屋建造相关凭证等，以证明借款用途及自己是否知情或追认。
• 男方应咨询专业律师，根据具体情况制定合适的诉讼策略，以维护自己的合法权益。