诈骗4万元不退回的情况下，通常会被判处三年以下有期徒刑、拘役或者管制，并处或者单处罚金。但具体量刑还需考虑多种因素。以下是对此问题的详细分析：

一、法律依据与量刑标准

根据《中华人民共和国刑法》第二百六十六条的规定：

• 诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金；
• 数额巨大或者有其他严重情节的，处三年以上十年以下有期徒刑，并处罚金；
• 数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。

其中，“数额较大”通常指诈骗金额在3000元至1万元以上（具体标准可能因地区而异，但4万元一般无疑属于此范畴）；“数额巨大”指诈骗金额在3万元至10万元以上；“数额特别巨大”则指诈骗金额在50万元以上。由于诈骗金额为4万元，属于“数额较大”的范畴，因此基础刑期为三年以下有期徒刑、拘役或者管制，并处或者单处罚金。

二、影响量刑的其他因素

虽然诈骗金额是量刑的重要依据，但法院在判决时还会综合考虑其他多种因素，包括但不限于：

1. 犯罪情节：如诈骗手段是否恶劣、是否对受害者造成了严重伤害等。
2. 被告人的认罪态度：被告人是否认罪、悔罪，是否积极配合调查等。
3. 社会危害程度：诈骗行为对社会造成的危害程度，如是否引发社会恐慌、是否影响社会稳定等。
4. 前科情况：被告人是否有前科，特别是是否有诈骗等类似犯罪前科。

三、具体量刑分析

1. 基础量刑：诈骗4万元，无其他特殊情节时，通常会按照“数额较大”的标准进行量刑，即三年以下有期徒刑、拘役或者管制，并处或者单处罚金。
2. 从重处罚情节：若存在从重处罚情节，如诈骗手段特别恶劣、造成严重后果、被告人有前科等，量刑可能会相对较重。
3. 从轻或减轻处罚情节：若存在从轻或减轻处罚情节，如自首、立功、积极退赃退赔、取得被害人谅解等，量刑可能会相对较轻。但需要注意的是，即使退回了全部赃款，也只是量刑时的一个从轻情节，并不能完全免除刑事责任。

四、建议与提醒

1. 尽早咨询专业律师：对于具体的诈骗案件，建议尽早咨询专业律师，提供详细的案件细节，以便律师能够更准确地评估量刑可能性，并提供有效的法律帮助和辩护策略。
2. 积极配合调查与退赃：如果涉嫌诈骗，应积极配合调查，如实供述罪行，并尽可能退还诈骗所得，以减轻刑罚。
3. 注意法律后果：诈骗行为不仅可能面临刑事处罚，还可能对个人的声誉、职业等造成严重影响。因此，应严格遵守法律法规，避免涉及任何违法犯罪行为。

总之，诈骗4万元不退回的情况下，量刑会综合考虑多种因素。如果你或你身边的人涉及此类问题，可以直接向我咨询，我会根据你的具体情况提供更详细的法律建议。