结论：诈骗4000元即使退回去了，仍然可能面临法律责任，但退赃行为会作为量刑情节予以考虑。
分析说明：
诈骗罪的构成：
- 诈骗罪是指以非法占有为目的，使用欺骗方法，骗取数额较大的公私财物的行为。根据《刑法》第二百六十六条，诈骗公私财物，数额较大的，处三年以下有期徒刑、拘役或者管制，并处或者单处罚金。
- 在您的情况下，虽然诈骗金额4000元已经退回，但诈骗行为本身已经完成，即您已经通过欺骗手段获取了财物，这构成了诈骗罪的既遂。
退赃行为的法律意义：
- 退赃是指犯罪嫌疑人或被告人在犯罪后，将非法所得的财物退还给被害人或上缴国家。退赃行为在刑事法律中通常被视为一种悔罪表现，可以作为量刑时的从轻或减轻情节。
- 根据相关司法实践，退赃行为虽然不能完全免除刑事责任，但可以在一定程度上减轻处罚，如减少刑期或降低罚金数额。
可能面临的法律后果：
- 鉴于您已经退回了诈骗所得，法院在量刑时会考虑这一情节，可能对您从轻或减轻处罚。但具体处罚力度还需根据案件的其他情节，如诈骗手段、是否初犯、是否有自首或立功表现等综合判断。
- 如果诈骗行为情节轻微，且您认罪态度好、退赃及时，也有可能被判处缓刑或免予刑事处罚，但这需要具体案件具体分析。
行动建议：
- 积极配合调查：如果您尚未被警方立案调查或已经立案但尚未进入审判阶段，建议您积极配合警方的调查工作，如实陈述事实，展示您的悔罪态度。
- 准备相关证据：收集并保存好与退赃相关的证据，如转账记录、收条等，以便在需要时向法院提供。
- 咨询专业律师：由于刑事案件的复杂性和专业性，建议您咨询一位专业律师，以便更全面地了解您的法律权益和可能面临的法律后果，并获得专业的法律建议。
后续思考依据：
- 在处理类似案件时，法院会综合考虑犯罪嫌疑人的犯罪情节、悔罪表现、社会危害程度等因素来决定刑罚。因此，即使诈骗金额已经退回，也不能掉以轻心，仍需积极应对可能的法律后果。
- 退赃行为虽然重要，但并非决定刑罚的唯一因素。因此，在退赃的同时，还需关注其他可能影响量刑的情节，如是否自首、是否有立功表现等。
如有其他疑问或需要进一步的法律帮助，请直接向我咨询。