关于“退赃退给谁”的问题，这主要依据刑事案件的具体阶段和涉案情况来确定。一般来说，退赃会退给司法机关，再由司法机关根据案件具体情况进行后续处理。以下是对不同情形的详细解答：

1. 侦查阶段：若犯罪嫌疑人在此阶段主动退赃，通常会退给侦查机关，如公安机关。这体现了犯罪嫌疑人的悔罪表现，并可能在后续量刑时被作为从轻情节考量。

2. 审查起诉阶段：若之前未退赃或仍有部分赃款未退，犯罪嫌疑人可以向检察机关退赃。

3. 审判阶段：犯罪嫌疑人也可以直接向法院退赃。法院会依据退赃情况，结合案件的其他情节来对被告人进行量刑。

4. 涉及被害人合法财产：若退赃涉及被害人的合法财产，司法机关在查证核实后，会依法将退赃返还给被害人。若案件涉及多位被害人，则会按各被害人的损失比例分别进行退赔。

5. 特殊情况：若无法找到具体被害人，或被害人众多难以一一返还，在司法实践中，一般会将赃款上缴国库，以确保国有资产不受损失，保证公共资源得到合理处理。此外，在一些经济犯罪案件中，若存在特定的受损单位，赃款可能退还给该单位。

综上所述，退赃的具体去向需根据案件的具体阶段、涉案情况以及被害人的存在与否等多种因素来综合判断。若您或您的亲友面临退赃问题，建议尽快咨询专业律师，以便更准确地了解相关法律规定和操作流程。