诈骗案件中，退赃退赔的钱一般是退给受害者，而非银行，但具体情形需结合实际情况判断。以下从不同角度为你详细分析：

一、法律依据与原则

根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这一条款明确指出了诈骗所得财物的处理原则，即应优先返还给被害人。在诈骗案件中，受害者是财产损失的直接承受者，因此退赃退赔的钱理应退给受害者，以弥补其因诈骗行为所遭受的损失。

二、退赃流程与操作

1. 公安机关或司法机关的介入：在诈骗案件侦破后，公安机关或司法机关会依法追缴犯罪分子的违法所得。如果犯罪分子主动退赃，也会通过相应的法律程序进行。

2. 核实受害人身份与损失：在退赃过程中，需要核实受害人的身份以及他们因诈骗所遭受的损失。这通常涉及收集证据、询问笔录等工作，以确保退赃的准确性和公正性。

3. 退赃款的发放：一旦核实清楚，退赃款将按照法定程序发放给受害人。这可能包括直接转账到受害人的银行账户，或者以其他合适的方式进行支付。如果受害者被诈骗的钱原本是存放在银行的，那么退赃款在发放给受害者后，受害者可以自行决定如何处理这笔钱，包括存入银行或其他用途。

三、特殊情况说明

1. 银行作为受害者的情况：虽然不常见，但在某些特定类型的金融诈骗案件中，银行也可能成为受害者。例如，当诈骗分子通过伪造银行文件或利用银行系统漏洞进行诈骗时，银行可能会因此遭受财产损失。在这种情况下，如果银行被认定为受害者，那么退赃退赔的钱可能会退给银行。但这种情况需要严格的法律程序和证据支持，以确定银行确实遭受了损失且应作为受害者获得赔偿。

2. 无法找到所有受害者或退赃款不足的情况：

   • 如果无法找到所有受害者，退赃款可能会暂时由相关部门保管，待找到受害者后再进行发放。
   • 如果退赃款不足以弥补所有受害者的损失，那么退赃款将按照比例分配给各受害者，或者根据具体情况进行分配。在这种情况下，银行作为资金流转的渠道，通常不会直接获得退赃款，除非其本身也是受害者之一。

四、实际操作中的注意事项

• 保留证据：受害者在发现被骗后，应立即报警并保留好相关证据，如转账记录、聊天记录、诈骗分子的联系方式等。这些证据将有助于公安机关或司法机关追缴犯罪分子的违法所得，并确定受害者的损失金额。
• 配合调查：受害者应积极配合公安机关或司法机关的调查工作，提供必要的协助和信息。这有助于加快退赃进程，确保受害者能够尽快获得赔偿。
• 关注案件进展：受害者可以通过合法途径关注案件的进展情况，了解退赃退赔的具体安排和时间节点。如有需要，可以向公安机关或司法机关咨询相关问题。

总结来说，在大多数情况下，诈骗案件中退赃退赔的钱是退给受害者的。但具体情形还需结合案件的性质、受害者的身份以及退赃退赔的具体安排等因素进行综合判断。如果你或你身边的人遇到了类似问题，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议。