结论：仅根据您目前所描述的情况，无法直接判定对方的行为构成诈骗，这更可能是一个普通的债务纠纷问题。不过，是否构成诈骗还需结合更多具体细节和证据来综合判断。

从债务纠纷角度分析

在民间借贷关系中，当一方借了钱，另一方有权利要求还款。对方已经还了三万，说没钱了，这本身并不直接等同于诈骗。在债务纠纷里，关键在于双方是否存在真实的借贷关系，以及借款人是否有还款的意愿和能力（尽管当前表示无力偿还）。如果双方有明确的借条或借款协议，且借款事实清楚，那么这通常被视为一个普通的债务问题，可以通过民事诉讼等法律途径来追讨剩余的债务。

从诈骗角度分析

诈骗通常指的是以非法占有为目的，通过虚构事实或隐瞒真相的方法，骗取他人财物的行为。要判定对方的行为是否构成诈骗，需要考虑以下几个方面：

1. 非法占有目的：需要证明对方从一开始就没有打算还款，或者借款后就没有还款的意愿，而是想将借款据为己有。
2. 虚构事实或隐瞒真相：对方是否在借款时或借款后虚构了某些事实，或者隐瞒了某些重要信息，导致您基于错误的认识而借出了款项。
3. 数额和情节：诈骗罪的成立还需要考虑诈骗的数额以及情节的严重性。虽然五万元在数额上可能达到某些地区的诈骗罪立案标准，但关键在于是否满足诈骗罪的其他构成要件。

建议

1. 收集证据：如果您怀疑对方的行为可能构成诈骗，首先需要收集尽可能多的证据，包括借条、转账记录、聊天记录等，以证明借款事实以及对方可能存在的欺诈行为。
2. 咨询专业律师：由于诈骗罪的认定涉及复杂的法律判断和证据收集，建议您咨询专业律师（比如我，梁栋律师，专注于刑事辩护和经济纠纷领域），以便更准确地评估案件情况并制定合适的法律策略。
3. 考虑民事诉讼：如果最终认定对方的行为不构成诈骗，但确实存在债务纠纷，您可以通过民事诉讼来追讨剩余的债务。在民事诉讼中，您需要提供充分的证据来证明借款事实以及对方的还款义务。

如果您有进一步的疑问或需要更具体的法律建议，请随时向我咨询。