诈骗的钱之所以要退，主要基于以下几个方面的法律和道德考量：

1. 法律层面的要求

   • 刑事法律层面：根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这意味着，诈骗犯通过诈骗行为获取的钱财，无论是否已被消费或转移，均属于违法所得，应当承担退回或赔偿的法律责任。这一规定体现了法律对犯罪行为的严厉打击和对被害人权益的充分保护。
   • 民事法律层面：诈骗行为在民事上构成侵权，侵犯了被害人的财产权益。依据《中华人民共和国民法典》的相关原理（虽原侵权责任法已废止，但相关原理在民法典中得以继承和发展），侵权人应当承担返还财产、赔偿损失等民事责任。因此，诈骗犯消费掉的钱作为对被害人财产权益的侵害后果，应依法予以退回或赔偿。

2. 量刑情节的考量

   • 在刑事诉讼中，诈骗犯是否退还钱款是量刑时的重要考量因素。根据《最高人民法院、最高人民检察院关于办理诈骗刑事案件具体应用法律若干问题的解释》第三条的规定，如果犯罪嫌疑人在一审宣判前全部退赃、退赔，并认罪、悔罪的，可以考虑不起诉或者免予刑事处罚。这体现了退赃对于减轻刑事责任的重要性。即使诈骗犯无法完全退还钱款，但部分退赃、退赔的行为也能在一定程度上表明其悔罪态度，从而在量刑时得到从轻或减轻处罚的考虑。

3. 道德层面的责任

   • 诈骗行为不仅违反了法律，也违背了社会道德和诚信原则。诈骗犯通过欺骗手段获取他人财物，不仅给被害人造成了经济损失，还可能对其心理和生活造成严重影响。因此，从道德层面来看，诈骗犯有责任退还钱款，以弥补其给被害人带来的损失和伤害。

4. 实践操作中的具体处理

   • 在实践操作中，能否成功追回诈骗钱款及追回程度取决于多个因素的综合考量。如果诈骗犯消费的钱仍能以具体形式存在，如购买的房产、车辆等贵重财物，且这些财物能够明确区分和追缴，执法机关将依法追缴并返还给被害人。如果诈骗犯将诈骗所得的钱用于日常消费，导致这部分钱难以具体追踪和追缴，司法机关会根据诈骗犯的整体财产状况及其赔偿能力，责令其在能力范围内退赔被害人的损失。若诈骗犯确实没有财产可供执行，被害人可能暂时无法获得全部赔偿，但一旦诈骗犯后续有了财产，被害人可通过法律程序继续要求其履行退赔义务。

综合建议：

• 对于诈骗犯而言，应尽早认识到自己的错误行为，积极退还钱款以减轻刑事责任，并争取被害人的谅解。
• 对于被害人而言，应保持冷静和理性，及时报警并配合警方的调查工作，同时保留好所有与诈骗相关的证据材料。在追讨损失的过程中，可以寻求法律援助或咨询专业律师的意见，以确保自己的合法权益得到有效维护。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。