仅凭录音中对方未反驳你关于“骗我钱”的说法，并不能直接认定对方构成诈骗。诈骗罪的认定需要满足多个法律要件，而录音中的未反驳行为只是其中的一个非常微弱的证据，甚至可能不足以构成证据。下面我将从多个角度为你详细分析：

一、诈骗罪的构成要件

诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。要构成诈骗罪，必须同时满足以下几个要件：

1. 主观方面：行为人必须具有非法占有的目的。
2. 客观方面：行为人实施了虚构事实或隐瞒真相的行为。
3. 因果关系：由于行为人的虚构事实或隐瞒真相，导致被害人产生错误认识。
4. 结果要件：被害人基于错误认识处分了财物，且行为人因此获得了财物。

二、录音证据的效力

录音证据在法律上是可以作为证据使用的，但其效力取决于多个因素，包括录音的合法性、清晰度、完整性以及与其他证据的关联性等。在你的情况下，录音中对方未反驳你关于“骗我钱”的说法，这只能说明对方在那一刻没有提出异议，但并不能直接证明对方有诈骗的故意或行为。

三、未反驳行为的分析

1. 可能的情况一：对方可能确实没有诈骗的故意，只是由于某种原因（如沟通不畅、误解等）没有及时反驳你的说法。
2. 可能的情况二：对方可能出于某种策略考虑（如避免冲突、拖延时间等）而选择不反驳，但这并不等同于承认诈骗。
3. 可能的情况三：在极少数情况下，对方可能确实有诈骗的故意，但由于录音证据的局限性（如录音不清晰、不完整等），无法直接证明其诈骗行为。

四、法律建议

1. 收集更多证据：如果你怀疑对方有诈骗行为，除了录音证据外，还应尽量收集其他相关证据，如转账记录、聊天记录、证人证言等，以形成完整的证据链。
2. 咨询专业律师：在收集到足够证据后，建议你咨询专业律师，对证据进行评估和分析，以确定是否构成诈骗罪以及如何维护自己的合法权益。
3. 报警处理：如果确实存在诈骗行为，且证据充分，你可以向公安机关报案，由公安机关依法进行调查和处理。

五、可能的法律后果

如果对方确实构成诈骗罪，且数额较大，那么对方可能面临刑事处罚，包括有期徒刑、拘役或罚金等。同时，你作为被害人，有权要求对方返还被骗的财物，并可以依法提起附带民事诉讼，要求对方赔偿你的经济损失。

总结来说，仅凭录音中对方未反驳你关于“骗我钱”的说法，并不能直接认定对方构成诈骗。你需要收集更多证据，并咨询专业律师以维护自己的合法权益。如果你有任何进一步的疑问或需要法律帮助，请随时向我咨询。