结论：投资的钱自己用了，过后退了一部分，是否构成诈骗，不能一概而论，需要结合具体情况来判断。
分析：
诈骗罪的构成要件：
- 诈骗罪要求行为人以非法占有为目的，通过虚构事实或隐瞒真相的方法，骗取他人财物，且数额较大。
- 在这个案例中，关键在于判断你是否具有非法占有的目的，以及是否实施了虚构事实或隐瞒真相的行为。
非法占有目的的判断：
- 如果你在投资时就没有打算归还全部或部分资金，而是意图永久占有，那么这可能构成非法占有目的。
- 如果你原本打算归还，但由于某些原因（如资金周转困难）暂时无法全部归还，而后来退还了一部分，这则可能不构成非法占有目的。
虚构事实或隐瞒真相的行为：
- 如果你在投资时向投资者承诺了虚假的回报或隐瞒了投资风险，导致投资者基于错误的认识而投资，这可能构成虚构事实或隐瞒真相。
- 如果你没有做出任何虚假承诺或隐瞒，而是由于市场变化或自身经营不善导致无法全部归还投资，这则可能不构成虚构事实或隐瞒真相。
退还部分资金的影响：
- 退还部分资金可能表明你并非完全无意归还，但这并不足以完全排除诈骗的可能性。
- 退还的金额、时间、方式以及你的态度等因素都可能影响对诈骗罪的认定。
法律建议：
- 如果你确实存在非法占有目的，并实施了虚构事实或隐瞒真相的行为，且数额较大，那么你可能构成诈骗罪，将面临刑事处罚。
- 如果你没有非法占有目的，也没有实施虚构事实或隐瞒真相的行为，或者虽然存在某些不当行为但情节显著轻微，那么你可能不构成诈骗罪。但你可能需要承担民事责任，如赔偿投资者的损失。
- 无论你是否构成诈骗罪，我都建议你积极与投资者沟通，说明情况，并尽力退还剩余资金。这有助于减少纠纷和损失，也可能对你的法律责任产生积极影响。
后续行动建议：
- 如果你对是否构成诈骗罪存在疑问，或者需要法律帮助来处理与投资者的纠纷，你可以直接向我咨询。我将根据你的具体情况，为你提供专业的法律意见和帮助。
- 同时，我也建议你保留相关证据，如投资合同、转账记录、沟通记录等，以便在需要时证明你的清白或维护你的权益。