诈骗犯用诈骗的钱买了东西，商家并不必须直接退回那笔钱，但诈骗犯有义务退回赃款或赔偿损失，具体能否追回及追回程度需根据实际情况判断。以下从不同角度为你详细分析：

法律规定角度

1. 刑事法律层面：

   • 根据《中华人民共和国刑法》第六十四条，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这意味着，诈骗犯通过诈骗获取的钱财属于违法所得，即便已用于消费，也应承担退回或赔偿的法律责任。
   • 诈骗行为在刑事上构成犯罪，诈骗犯不仅需要承担刑事责任，还需要承担民事赔偿责任，即退回赃款或赔偿损失。

2. 民事法律层面：

   • 诈骗行为在民事上构成侵权，侵犯了被害人的财产权益。依据相关民事法律原理，侵权人应当承担返还财产、赔偿损失等民事责任。因此，诈骗犯消费掉的钱作为对被害人财产权益的侵害后果，应依法予以退回或赔偿。

实践操作层面

1. 可追回情况：

   • 若诈骗犯消费的钱仍能以具体形式存在，如购买的房产、车辆等贵重财物，且这些财物能够明确区分和追缴，执法机关将依法追缴并返还给被害人。
   • 若诈骗犯有其他可供执行的财产，即使赃款已被消费，也可通过司法程序责令其退赔被害人的损失。例如，冻结、扣押诈骗犯名下的其他财产，用于退赔被害人。

2. 难以追回情况：

   • 若诈骗犯将诈骗所得的钱用于日常消费，如餐饮、旅游等，导致这部分钱难以具体追踪和追缴，司法机关会根据诈骗犯的整体财产状况及其赔偿能力，责令其在能力范围内退赔被害人的损失。
   • 若诈骗犯确实没有财产可供执行，被害人可能暂时无法获得全部赔偿。但一旦诈骗犯后续有了财产，被害人可通过法律程序继续要求其履行退赔义务。

商家角度

• 商家在不知情的情况下接受了诈骗犯的诈骗所得进行消费，商家本身并不构成犯罪，也没有义务直接退回那笔钱给被害人。
• 如果商家在交易过程中存在过错，如未尽到合理的审查义务，导致诈骗犯得以使用诈骗所得进行消费，商家可能需要承担一定的民事责任，但这与直接退回诈骗所得给被害人是不同的法律关系。

特殊情况处理

• 若受害者已死亡，其法定继承人有权继承应退还的赃款，这是基于民法中关于继承权的相关规定。
• 对于钱款已被挥霍或无法直接追回的情况，法院可能会根据案件具体情况判决诈骗犯进行赔偿，或通过其他方式尽力弥补受害者的损失。

总结与建议：

诈骗犯用诈骗的钱买了东西，商家并不必须直接退回那笔钱。但诈骗犯有义务退回赃款或赔偿损失，具体能否追回及追回程度需根据赃款的具体去向、公安机关的追缴情况以及犯罪嫌疑人的财产状况综合判断。如果你或你身边的人遇到了类似的情况，建议尽快收集相关证据，如交易记录、诈骗犯的身份信息等，并向公安机关报案，以便尽快启动追缴程序，维护自己的合法权益。