结论：是否构成诈骗，不能仅凭私自占用五万且已退回这一行为来简单判定，需要结合诈骗罪的构成要件以及具体案情来综合分析。
分析角度一：诈骗罪的构成要件
诈骗罪，是指以非法占有为目的，使用欺骗方法，骗取数额较大的公私财物的行为。其构成要件主要包括：
主观方面：具有非法占有的目的。这意味着行为人从一开始就意图通过欺骗手段获取他人财物，并打算永久性地剥夺对方对财物的所有权。
客观方面：实施了欺骗行为，使对方产生错误认识，并基于这种错误认识处分了财物，行为人因此取得了财物。
客体方面：侵犯了公私财物的所有权。
数额要求：骗取的财物数额需要达到较大的标准，具体数额标准可能因地区而异，但通常来说，五万元已经达到了数额较大的标准。
针对本案的具体分析：
如果行为人私自占用五万元时，确实具有非法占有的目的，即打算永久性地剥夺对方对这五万元的所有权，并且通过欺骗手段（如虚构事实、隐瞒真相）使对方产生了错误认识，从而处分了这五万元，那么即使后来退回了这五万元，也仍然可能构成诈骗罪。因为诈骗罪的成立并不以行为人最终是否占有财物为唯一标准，而是以行为人是否实施了欺骗行为并意图非法占有财物为标准。当然，退回财物可以作为量刑时的考虑情节，可能减轻处罚。
如果行为人私自占用五万元时，并没有非法占有的目的，而是由于某种原因（如误解、疏忽等）暂时占用了这五万元，并且后来及时退回了这五万元，那么就不构成诈骗罪。因为这种情况下，行为人并没有实施欺骗行为，也没有意图非法占有财物。
分析角度二：已退回财物对定罪的影响
虽然退回财物本身并不直接决定是否构成诈骗罪，但它可以作为量刑时的考虑情节。如果行为人构成诈骗罪，但后来主动退回了全部或部分财物，这通常表明其有一定的悔罪表现，法院在量刑时可能会酌情从轻处罚。然而，这并不意味着退回财物就可以完全免除刑事责任。
建议：
如果行为人确实实施了欺骗行为并意图非法占有财物：建议尽快向公安机关自首，并积极配合调查，争取从宽处理。同时，可以主动退赔全部或部分财物，以表明悔罪态度。
如果行为人并没有实施欺骗行为或没有非法占有的目的：可以收集相关证据（如转账记录、聊天记录等）来证明自己的清白，并在必要时向公安机关说明情况。
无论哪种情况：都建议咨询专业律师（即我，武侠律师，专注于经济纠纷、合同纠纷领域）的意见，以便更准确地了解自己的法律地位和可能面临的法律后果。
总之，是否构成诈骗罪需要结合具体案情和诈骗罪的构成要件来综合分析。如果有任何疑问或需要进一步的法律帮助，请直接向我咨询。