结论：银行一般不能直接要回这笔钱，但出借人（男人配偶等有权方）可通过法律途径追回，且男人可能面临债务偿还责任。以下从不同主体角度详细分析：

从银行角度

银行与男人之间是借贷合同关系。银行依据借款合同向男人发放贷款，只要借款合同本身不存在法定无效情形，比如男人以合法形式掩盖非法目的（但养小三这种用途本身一般不直接导致合同无效，除非能证明借款时就有恶意串通损害他人利益等法定无效事由 ），银行就按照合同约定享有债权。

银行发放贷款后，其主要权利就是要求男人按照合同约定的期限、方式等偿还借款本金和利息。银行并不关心男人借款后的具体用途，只要男人没有按照合同履行还款义务，银行就有权依据合同和法律规定，通过合法手段，如催收、起诉等方式要求男人还款。所以银行不能直接以男人借钱养小三这个理由要回钱，只能基于借贷合同关系主张债权。

从男人配偶角度

如果男人是在婚姻关系存续期间借款，且借款没有明确约定为个人债务，根据《中华人民共和国民法典》规定，这通常会被认定为夫妻共同债务。但养小三这种行为违背了公序良俗，男人将夫妻共同财产或者以夫妻共同债务形式获得的资金用于养小三，属于擅自处分夫妻共同财产，损害了配偶的合法权益。

男人的配偶可以通过法律途径，比如向法院起诉，要求确认男人将借款用于养小三的行为无效，并追回相关财产。如果借款是男人以个人名义所借，但用于养小三，配偶也可以主张该债务不属于夫妻共同债务，自己不承担还款责任，同时要求男人赔偿因擅自处分夫妻共同财产给自己造成的损失。

从男人自身角度

男人作为借款人，与银行签订了借款合同，就有义务按照合同约定偿还借款。如果男人不还款，银行起诉后，法院会依法判决男人承担还款责任。如果男人拒不履行判决，银行可以申请强制执行，法院会采取查封、扣押、冻结财产等措施来保障银行的债权实现。而且男人借钱养小三的行为，在道德层面会受到谴责，如果因此导致家庭破裂，在财产分割等方面也可能对自己不利。