结论：仅凭男人借钱不承认且有电话录音这一情况，不能直接认定其构成诈骗，但可能构成民事上的违约或欺诈，是否构成刑事诈骗需结合更多证据和事实综合判断。以下从民事和刑事两个角度进行详细分析：
民事角度
借款关系的认定：
- 电话录音作为证据，在民事诉讼中具有一定的证明力。如果录音内容清晰、完整，能够明确反映借款的事实、金额、时间等关键要素，且录音的取得方式合法（如未经对方同意的录音，只要不侵犯他人合法权益，如隐私权，一般也可作为证据使用），那么该录音可以作为证明借款关系存在的有效证据。
- 在借款关系得到确认的情况下，如果借款人拒绝还款，出借人可以依据《中华人民共和国民法典》中关于借款合同的规定，向法院提起诉讼，要求借款人承担还款责任。
欺诈的认定：
- 如果借款人在借款时就有不还款的故意，且通过虚构事实或隐瞒真相的方式骗取出借人的信任，从而获得借款，那么这种行为可能构成民事上的欺诈。
- 然而，要证明借款人的欺诈故意，通常需要更多的证据支持，如借款人的陈述、书面材料、第三方证言等，仅凭电话录音可能难以直接证明。
刑事角度
诈骗罪的构成要件：
- 诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。
- 要构成诈骗罪，必须同时满足四个要件：行为人具有非法占有的目的；实施了虚构事实或隐瞒真相的行为；被害人因此产生了错误认识；被害人基于错误认识处分了财物。
电话录音在诈骗罪认定中的作用：
- 电话录音可以作为证明借款人实施了虚构事实或隐瞒真相行为的证据之一。
- 但是，仅凭电话录音难以直接证明借款人的非法占有目的。非法占有目的通常需要通过借款人的后续行为、态度、还款能力等多方面因素综合判断。
- 如果借款人借款后逃匿、挥霍借款、用于违法犯罪活动等，且拒不还款，那么这些行为可能更倾向于证明其具有非法占有的目的。
综合判断：
- 在判断是否构成诈骗罪时，需要综合考虑所有证据和事实，包括借款人的借款用途、还款能力、还款态度、是否有逃匿或挥霍借款的行为等。
- 如果仅凭电话录音和借款人不承认借款的事实，而没有其他证据支持，那么很难直接认定其构成诈骗罪。
建议
收集更多证据：
- 除了电话录音外，尽量收集其他能够证明借款关系和借款人欺诈或非法占有目的的证据，如书面借款合同、转账记录、聊天记录、第三方证言等。
咨询专业律师：
- 由于法律问题的复杂性和专业性，建议咨询专业律师以获取更具体的法律建议和指导。律师可以根据你的具体情况和证据情况，为你提供更准确的法律分析和诉讼策略。
考虑民事诉讼：
- 如果证据不足以证明借款人构成诈骗罪，但足以证明借款关系的存在和借款人的违约行为，那么可以考虑通过民事诉讼的方式要求借款人承担还款责任。
如有进一步疑问或需要法律帮助，请直接向我咨询。