结论：女方母亲给女儿婚外生活一起的男人的钱，能否以诈骗要回来，需根据具体情况判断，若男方存在虚构事实、隐瞒真相等诈骗行为，则可能构成诈骗，钱款可追回；若不存在诈骗行为，则难以通过诈骗途径追回，但可能通过其他民事途径主张权利。以下为详细分析：
一、若男方存在诈骗行为
诈骗行为的认定：
- 诈骗是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取款额较大的公私财物的行为。
- 在此情境下，若男方通过虚构身份、编造理由等手段，骗取女方母亲的信任，进而获取钱款，且主观上具有非法占有的目的，则可能构成诈骗。
法律后果：
- 若男方行为构成诈骗，女方母亲有权向公安机关报案，要求追究男方的刑事责任。
- 同时，女方母亲还可以向法院提起民事诉讼，要求男方返还被骗取的钱款，并可能获得相应的赔偿。
二、若男方不存在诈骗行为
民事赠与或借贷关系的可能性：
- 若男方与女方母亲之间存在真实的民事赠与或借贷关系，且男方未虚构事实或隐瞒真相，则难以通过诈骗途径追回钱款。
- 赠与关系一旦成立，除非存在法定撤销情形（如严重侵害赠与人或其近亲属的合法权益、对赠与人有扶养义务而不履行等），否则赠与人不得随意撤销赠与。
- 借贷关系则需根据借款合同或借条等证据来认定，若存在真实的借贷关系，女方母亲有权要求男方还款。
其他民事途径：
- 若男方与女方存在不正当关系，且女方母亲给予钱款是基于对女儿的关爱或对男方的不满等情感因素，而非基于诈骗行为，则女方母亲可能难以通过诈骗途径追回钱款。
- 但在此情况下，女方母亲仍可以尝试通过协商、调解等民事途径，与男方沟通解决钱款问题。若协商、调解无果，女方母亲还可以考虑向法院提起民事诉讼，但需注意诉讼风险和成本。
三、建议与注意事项
收集证据：
- 无论选择哪种途径追回钱款，女方母亲都应尽可能收集相关证据，如转账记录、聊天记录、证人证言等，以证明钱款的流向和男方的行为。
咨询专业律师：
- 由于法律问题具有复杂性和专业性，建议女方母亲在采取任何行动前咨询专业律师，以获取更具体、更准确的法律建议。
理性处理情感问题：
- 在处理此类问题时，女方母亲应理性看待女儿与男方的关系，避免因情感因素而做出过激行为。同时，也应关注女儿的情感需求和心理健康，给予适当的支持和关爱。
若您在此方面有任何疑问或需要进一步的法律帮助，请直接向我咨询。