在解答“案件退赃一般退到那里”这个问题时，我们需要根据案件的性质和退赃的类别来详细分析。

首先，案件退赃主要分为两种情况：犯罪所得和违纪所得。

1. 犯罪所得：

   • 当案件经过司法程序，最终被法院判决认定是实施犯罪所获得的财物时，这部分财物即为犯罪所得。
   • 根据法律规定，犯罪所得应由法院依法上缴国库。例如，在某受贿案中，法院判决认定的受贿财物将直接上缴国库。

2. 违纪所得：

   • 违纪所得是指不构成犯罪，但被纪检监察机关认定为违反党纪政纪行为所获得的财物。
   • 对于违纪所得，纪检监察机关会依纪进行收缴，并上缴国库。这包括违反规定收受的礼金、回扣、酬金等，以及违反规定占有的公共财产或应当交公而没有交公的礼品等。
   • 具体处理方式有三种：没收、追缴和责令退赔。没收的对象如违规收受的礼金；追缴的对象包括违规占有的公共财产；责令退赔则针对违反规定挥霍浪费国有资产等行为。
   • 经过上述处理后的违纪所得，最终也将上缴国库。如果是钱款，由纪检监察机关直接上缴；如果是物品，则通过拍卖等方式变现后上缴。

特殊情况说明：

• 在某些特殊情况下，如被调查人死亡或逃亡国（境）外，纪检监察机关或司法机关仍会依法追缴其违法所得。对于被害单位因此遭受的损失，在司法程序结束后，根据法院判决，相关款项可能会返还给被害单位。但这一过程需要遵循严格的法律程序。

总结：

• 案件退赃一般退到国库，无论是犯罪所得还是违纪所得，最终都将通过法定程序上缴国库。
• 在特殊情况下，如被害单位因案件遭受损失，且符合法律规定的返还条件，相关款项可能会在司法程序结束后返还给被害单位。

希望这个解答能够清晰、详细地解答您的问题。如果您还有其他疑问或需要进一步的解释，请随时告诉我。