退赃并不一定是直接交给受害人，具体情形需根据案件性质和退赃阶段来确定。以下从不同角度为您详细分析：
一、直接退赔给被害人的情形
简单明确的诈骗案件：
- 在这类案件中，如果能够清楚确定具体的被害人，且退赃数额与被害人的损失能够一一对应，那么退赃款通常会直接退还给被害人。例如，在电信诈骗案件中，诈骗分子骗取了某被害人的具体金额款项，案件侦破后，司法机关会核实并直接将该笔款项返还给被害人。
公安部关于退赃、退赔物交付的规定：
- 根据公安部的明确要求，退赃、退赔的财物应当直接交付被害人或其家属，公安机关不得扣押或暂存。这一规定旨在保障被害人的合法权益，确保涉案财物的及时返还。在交付时，需现场清点确认财物数量、状态，并制作交接清单，详细记录财物信息，作为后续法律程序依据。
二、通过司法机关返还的情形
复杂诈骗案件：
- 当诈骗案件涉及多个被害人、被害人不明确，或退赃款数额与各被害人损失难以准确对应时，犯罪嫌疑人或被告人会将退赃款交给司法机关。司法机关会按照一定原则和程序进行统一管理和分配。例如，在非法集资类诈骗案件中，可能涉及众多投资者（被害人），资金流向复杂，司法机关会进行详细调查和审计，确定每个被害人的损失比例后，按比例分配退赃款。
退赃程序与方式：
- 在诈骗案的退赃程序中，退赃人员可以选择在侦查、审查起诉、审判阶段进行退赃。退赃通常通过家属或律师直接联系办案人员进行。退赃后，家属或委托的律师也可为被害人申请取保候审。退赃方式分为“退赃”与“退赔”：退赃是指犯罪分子将犯罪所得的赃款或赃物直接退还被害人或上缴司法机关；退赔则是指因犯罪所得赃物已被非法处置或毁损而无法退还原物时，采取折价方式直接赔偿被害人或上缴司法机关。
三、特殊情况处理
赃款赃物已被挥霍或灭失：
- 如果诈骗所得财物已被犯罪分子挥霍、灭失或用于其他非法活动，导致无法直接退还被害人相应财物或款项时，司法机关可能会责令犯罪分子以其他方式赔偿。例如，变卖其合法财产获取赔偿资金，或在量刑时考虑其赔偿能力和态度等因素。
无法确定受害人或受害人已不在：
- 在这种情况下，退赃款将上缴国库。同时，任何单位和个人都不得挪用退赃款。
四、退赃的意义与法律后果
保护被害人合法权益：
- 退赃退赔是法律规定的重要制度，旨在保护被害人的合法权益，维护社会公平正义。积极退赃还能获得宽大处理，因此涉嫌诈骗被公安机关抓捕后，最好积极配合工作，认罪悔罪、积极退赃退赔，争取宽大处理。
法律后果：
- 如果公安机关无正当理由扣押或拖延交付退赃款，可能面临行政处分甚至刑事责任。被害人则可以通过行政复议、国家赔偿等途径来维护自己的合法权益。
总结与建议：
退赃的具体方式取决于案件的性质和退赃的阶段。在简单明确的诈骗案件中，退赃款通常会直接退还给被害人；而在复杂案件中，则可能通过司法机关进行统一管理和分配。如果您或您身边的人涉及退赃问题，建议积极配合司法机关的工作，并咨询专业律师以获取更具体的法律建议。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。