诈骗赃款是必须要退的，这是基于法律明确规定以及司法实践中的量刑考量和民事责任承担等多方面因素的综合结果。以下从不同角度为你详细分析：
一、法律规定层面
根据《中华人民共和国刑法》第六十四条的明确规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这一条款清晰界定了诈骗所得财物的处理原则，即犯罪分子必须退还其非法所得，这是法律赋予的义务，也是维护社会公平正义、保护受害者合法权益的重要体现。
二、退赃的重要性与影响
保护被害人权益：
- 退赃是直接恢复被害人经济损失的重要措施。诈骗行为往往导致被害人遭受重大经济损失，退赃能够弥补其因诈骗行为遭受的损失，尽量恢复到未受侵害时的财产状态，体现了法律的公正与保护弱者原则。
体现法律公正：
- 通过追缴或责令退赔赃款，法律不仅惩罚了犯罪行为，还体现了对社会公正的维护。诈骗行为破坏了社会的经济秩序和信任关系，退赃有助于恢复这些关系，增强法律的威严和公信力。
影响量刑：
- 积极退赃是酌定从轻处罚的情节。在司法实践中，犯罪分子如果能够主动退赃、退赔，法院在量刑时会将此作为从轻处罚的情节予以考虑。这意味着，退赃行为有可能减轻犯罪分子的刑罚，鼓励犯罪分子认罪悔罪，促进案件的公正处理。
- 相反，如果犯罪分子有能力退还而拒不退还赃款，司法机关会认为其主观恶性较大，缺乏认罪悔罪的表现。在这种情况下，法院在量刑时可能会将拒不退赃作为从重处罚的情节予以考虑。
案件处理程序的影响：
- 在侦查阶段，积极退赃有助于公安机关快速确定案件涉及的财物数额，提高办案效率，并可能影响后续是否采取非羁押性强制措施的决定。
- 在审判阶段，退赃使司法程序更加顺畅，减少被害人提起附带民事诉讼的可能性，降低司法成本和案件处理的复杂性。
三、退赃的具体操作与特殊情况
退赃与退赔：
- 犯罪分子需主动或被动地将诈骗所得财物退还给被害人或相关机关。若财物已无法追回，如已被挥霍或用于其他非法活动，应按被害人的实际损失进行赔偿。
特殊情况下的处理：
- 根据《最高人民法院、最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》，在某些特定情况下，如一审宣判前全部退赃、退赔，且行为人认罪、悔罪的，可以不起诉或者免予刑事处罚。这体现了法律对悔罪表现的宽容态度，也鼓励犯罪分子尽早退赃、退赔，以争取更好的法律后果。
四、不退赃的严重后果
如果犯罪分子有能力退还而拒不退还赃款，法院有权采取一系列强制措施来执行退赃决定。这些措施包括但不限于强制执行、查封财产等，以确保被害人的合法权益得到保障。同时，拒不退赃的行为也会在量刑时得到从重处罚的考虑，对犯罪分子产生更大的法律后果。
总结与建议：
诈骗赃款是必须要退的，这是法律规定的义务，也是保护被害人权益、体现法律公正、影响量刑以及案件处理的重要举措。如果你或你身边的人涉及诈骗案件，建议积极履行退赃义务，以争取更好的法律后果。同时，如果有任何法律疑问或需要进一步的法律帮助，请随时向我咨询，我会根据你的具体情况提供专业的法律意见和帮助。