结论：是否构成诈骗不能仅凭你已退还部分款项这一行为来判断，需要结合诈骗罪的构成要件以及具体案情来综合分析。以下从不同角度为你详细阐述：

从诈骗罪的构成要件角度分析

诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。其构成要件包括：

1. 主观方面：具有非法占有的目的。即行为人一开始就意图通过欺骗手段将他人的财物据为己有，而不是暂时占有或合法取得后归还。如果你在与对方商量退款之前，就没有打算全额退还，而是想通过部分退款来掩盖自己非法占有剩余款项的目的，那么可能符合这一主观要件。但如果你是因为经济困难等原因暂时无法全额退还，且一直有积极退还剩余款项的意愿，那么就不具有非法占有的目的。
2. 客观方面：实施了虚构事实或者隐瞒真相的行为，使对方产生错误认识，并基于该错误认识处分了财物。例如，你虚构了某种理由让对方相信你需要部分款项用于特定用途，或者隐瞒了自己已经将部分款项挪作他用的真相，导致对方同意你只退还部分款项。如果存在这样的行为，就可能符合诈骗罪的客观要件。然而，如果你们之间的退款协商是基于真实的情况和合理的理由，不存在虚构事实或隐瞒真相的行为，那么就不构成诈骗。
3. 客体方面：侵犯了公私财物的所有权。即你的行为导致对方的财产受到了损失。在你已经退还部分款项的情况下，对方仍有财产损失，但这只是判断是否构成诈骗的一个方面，还需要结合前面两个要件来综合判断。
4. 客观要件补充：骗取的财物数额较大。根据相关法律规定，诈骗公私财物价值三千元至一万元以上、三万元至十万元以上、五十万元以上的，应当分别认定为刑法第二百六十六条规定的“数额较大”、“数额巨大”、“数额特别巨大”。如果剩余未退还的款项达到了“数额较大”的标准，且符合前面三个要件，那么就有可能构成诈骗罪；如果未达到该标准，则一般不构成诈骗罪，但可能涉及其他民事纠纷。

从实际案例角度分析

在司法实践中，类似的情况需要具体问题具体分析。例如，有些案件中，行为人确实因为经济困难无法一次性全额退还，但一直积极与对方沟通并制定还款计划，且最终全部退还了款项，这种情况下一般不认定为诈骗。而有些案件中，行为人以虚假理由骗取对方同意部分退款，然后消失不见，拒绝退还剩余款项，且数额较大，那么就很可能被认定为诈骗罪。

法律建议

1. 如果你确实没有非法占有的目的，且一直有积极退还剩余款项的意愿，建议你与对方进行坦诚的沟通，说明你的实际情况和还款计划，争取对方的理解和信任，避免引起不必要的法律纠纷。
2. 如果对方已经怀疑你构成诈骗并采取了法律行动，如报警或提起诉讼，你应积极配合调查，提供相关证据证明自己没有非法占有的目的和虚构事实、隐瞒真相的行为，以维护自己的合法权益。

如果你还有其他关于合同纠纷或刑事案件方面的问题，可以直接向我咨询。