结论：诈骗五万元但早已退还，仍可能面临刑事处罚，但退赃行为会作为量刑情节考虑，可能减轻处罚。
一、诈骗罪的构成与量刑标准
根据《中华人民共和国刑法》第二百六十六条，诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。
对于“数额较大”的标准，通常指的是诈骗公私财物价值三千元至一万元以上。而“数额巨大”则一般指的是三万元至十万元以上。因此，诈骗五万元属于“数额巨大”的范畴，原本可能面临三年以上十年以下有期徒刑，并处罚金的刑罚。
二、退赃行为对量刑的影响
退赃作为量刑情节：
- 在刑事案件中，退赃行为通常会被视为犯罪嫌疑人或被告人的悔罪表现，从而作为量刑时考虑的情节之一。
- 退赃可以表明犯罪嫌疑人或被告人对犯罪行为的认知，以及其愿意承担责任、弥补损失的态度。
可能减轻处罚：
- 根据相关法律规定和司法实践，退赃行为有可能导致刑罚的减轻。具体减轻的幅度会因案件情况、退赃时间、退赃比例等因素而有所不同。
- 在某些情况下，如果退赃及时且全额退还，甚至可能对犯罪嫌疑人或被告人适用缓刑或更轻的刑罚。
三、具体案件分析
如果退赃发生在立案前：
- 如果犯罪嫌疑人在诈骗行为被发现前就已经主动退还了全部或部分赃款，这可能会被视为其有悔罪表现，且社会危害性相对较小。
- 在这种情况下，法院在量刑时可能会考虑这一情节，对犯罪嫌疑人适用更轻的刑罚。
如果退赃发生在立案后：
- 如果犯罪嫌疑人在诈骗行为被发现并立案后才退还赃款，虽然这仍然表明其有悔罪态度，但相对于立案前的退赃，其减轻刑罚的效果可能会稍弱。
- 然而，即使如此，退赃行为仍然会被视为一个积极的量刑情节，法院在量刑时会予以考虑。
四、建议与注意事项
及时退赃：
- 如果涉嫌诈骗，应尽快退还赃款，以表明悔罪态度并争取从轻处理。
配合调查：
- 在退赃的同时，应积极配合公安机关的调查工作，如实陈述事实，提供相关证据。
寻求专业法律帮助：
- 诈骗案件涉及复杂的法律问题和量刑情节，建议寻求专业律师的帮助，以确保自身权益得到最大程度的保护。
注意证据保留：
- 在退赃过程中，应注意保留相关证据，如退赃凭证、转账记录等，以备不时之需。
最后，需要强调的是，每个案件的具体情况都有所不同，量刑也会因案件事实、证据、犯罪嫌疑人或被告人的态度等因素而有所差异。 因此，如果面临类似情况，建议直接向我咨询，以便获得更具体、更准确的法律建议。