诈骗所得财物在法律上确实应当退还给受害人，但实际能否直接退还、退还的比例及方式会受到多种因素的影响。以下是对这一问题的详细分析：
一、法律依据与原则
根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。这一条款为受害者追回损失提供了明确的法律依据，也体现了法律对被害人合法权益的坚定保护。
二、退赔方式与程序
公安机关处理：
- 在诈骗案件终结后，公安机关会根据具体情况处分冻结、查封、扣押的财产。若能明确受害人的身份且与受害人达成一致，公安机关可能会直接将赃款退还给受害人。
- 若存在多个受害人或情况复杂，公安机关会将赃款交由司法机关（如检察院或法院）进行统一处理，以确保退款过程的合法性和公正性。
诉讼途径救济：
- 如果诈骗人未主动退赔，受害人可以通过提起刑事附带民事诉讼或在刑事判决书生效后单独提起民事诉讼来要求赔偿。这为受害者提供了额外的法律救济途径，确保其权益得到有效保障。
主动退赃情节：
- 诈骗人主动退赃是其认罪、悔罪的一种表现，有可能影响其刑事责任的承担。在量刑时，法院可能会酌情从轻处罚积极退赔的犯罪分子。
三、实际退还情况与影响因素
全部退还：
- 若诈骗分子主动全额退还诈骗所得，且受害人能够明确并达成一致，那么诈骗所得财物可以直接退还给受害人。这通常会在量刑上获得从轻处罚。
部分退还或无法退还：
- 若只能部分退还，剩余部分需继续退赔。若诈骗所得已被挥霍或难以追回，受害者可通过附带民事诉讼等方式，要求诈骗分子用其其他合法财产进行赔偿，并通过强制执行程序实现。
- 影响因素：
- 案件侦办情况：案件处于侦查阶段或尚未侦破时，赃款追回和退还存在不确定性。
- 赃款追回难度：诈骗者可能挥霍赃款或将其转移到难以追回的地方，影响追回率。
- 分配程序复杂性：赃款成功追回后，需经多个部门协作和沟通进行分配和退还，过程可能复杂且耗时。
四、特殊情况处理
- 查找不到受害者：如果查找不到受害者或者是受害者已经不在的情况之下，退赃款一般会直接上缴给国库。
- 执法机关责任：任何执法机关无权使用这笔款项，否则将承担法律责任。
五、建议与指导
- 作为受害者，应积极配合相关部门的调查工作，提供必要的证据和信息，以便尽快追回损失。
- 保持耐心和理解的心态，认识到追回和退还过程的漫长和复杂性。
- 在必要时，寻求专业法律帮助，以确保自身权益得到充分保护。你可以直接向我咨询相关法律问题，我会为你提供专业的解答和建议。
综上所述，诈骗所得财物在法律上应退还给受害者，但实际操作中受多种因素影响。受害者应积极配合调查，并寻求专业法律支持以维护自身权益。