诈骗退赔的钱一般是交给公安机关或法院，具体取决于案件所处的阶段和实际情况。以下是对此问题的详细分析：

一、案件侦查阶段

在诈骗案件的侦查阶段，如果犯罪嫌疑人或被告人愿意退赔，通常会将钱款交给公安机关。公安机关在收到退赔的钱款后，会开具相应的收据，并记录在案。这些钱款将作为案件的一部分证据，用于后续的刑事诉讼程序。同时，公安机关也会根据受害人的损失情况，将退赔的钱款及时返还给受害人，以减少其经济损失。

二、案件审判阶段

1. 法院受理退赔：如果案件已经进入审判阶段，犯罪嫌疑人或被告人可以选择将退赔的钱款交给法院。法院在收到钱款后，会进行登记和管理，并在判决时考虑这一情节。
2. 退赔与量刑：根据《中华人民共和国刑法》及相关司法解释的规定，犯罪嫌疑人或被告人积极退赔的，可以作为认罪悔罪的表现，从而在量刑时获得从轻、减轻处罚的考虑。这体现了刑法中的宽严相济政策，鼓励犯罪嫌疑人或被告人积极退赔，减少被害人的损失。
3. 退赔的执行：在判决生效后，如果犯罪嫌疑人或被告人未按照判决要求退赔，法院将依法强制执行。此时，退赔的钱款将由法院负责管理和分配，确保受害人的权益得到保障。

三、特殊情况下的退赔

1. 被害人直接接收：在某些情况下，如果犯罪嫌疑人或被告人与被害人能够达成和解协议，并直接约定退赔的钱款由被害人接收，那么退赔的钱款可以直接交给被害人。但这种情况需要得到公安机关或法院的认可和监督，以确保退赔的合法性和有效性。
2. 第三方托管：为了确保退赔的钱款能够安全、有效地到达被害人手中，有时也会采用第三方托管的方式。即犯罪嫌疑人或被告人将退赔的钱款交给一个中立的第三方机构（如银行、律师事务所等）进行托管，待案件处理完毕后，再由该机构将钱款返还给被害人。

四、法律建议

1. 及时退赔：对于犯罪嫌疑人或被告人而言，及时退赔是减轻刑事责任的重要途径。因此，在发现自己涉嫌诈骗犯罪后，应尽快与公安机关或法院联系，表达退赔的意愿，并积极配合退赔工作。
2. 保留证据：在退赔过程中，应保留好相关的证据材料（如收据、转账记录等），以证明自己已经履行了退赔义务。这些证据材料在后续的刑事诉讼程序中可能起到重要作用。
3. 咨询专业律师：在处理诈骗退赔问题时，由于涉及法律程序和专业知识，建议咨询专业律师的意见。律师可以根据具体情况提供针对性的法律建议和指导，帮助当事人更好地维护自己的合法权益。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。