结论：诈骗的钱打到别人账上后直接冻结，理论上存在退回的可能性，但实际能否退回以及退回的比例，会受到多种因素的影响。
法律依据与原则
根据《中华人民共和国刑法》第六十四条的规定：“犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还。”这一法律条文为诈骗资金的追回提供了明确的法律依据。
追赃挽损的不同阶段及可能性
侦查阶段：
- 在诈骗案件发生后，公安机关会立即展开侦查工作，全力查找、冻结和扣押与案件有关的财物。
- 如果能够及时追踪到诈骗资金的流向，并且犯罪嫌疑人尚未将资金挥霍或转移，那么资金有较高概率被追回并返还给被害人。
审查起诉和审判阶段：
- 案件进入审查起诉和审判阶段后，检察院和法院会进一步核实证据和财物情况，继续开展追赃工作。
- 法院可以根据查明的事实，判决责令被告人退赔被害人的经济损失。
- 被害人也可以通过附带民事诉讼的方式，要求被告人返还被骗的钱款。
执行阶段：
- 如果法院判决被告人退赔，但被告人未主动履行，案件将进入执行阶段。
- 法院执行部门会采取各种强制措施，如查询、冻结、划拨银行存款，查封、扣押、拍卖财产等，以实现资金的退回。
- 如果诈骗分子的财产不足以清偿全部损失，法院可能会按照各被害人被骗金额的比例进行返还。
影响资金退回的关键因素
资金流向的复杂程度：
- 如果诈骗分子使用了复杂的洗钱手段，如多次转移、跨境转账、投资或购买难以追踪的物品等，那么追回资金的难度将会大大增加。
犯罪嫌疑人的经济状况：
- 如果犯罪嫌疑人没有财产可供退赔，或者诈骗所得已经被挥霍一空，那么即使法院判决责令退赔，也可能因为无法实际执行而导致资金难以退回。
被害人的配合程度：
- 被害人及时报案、准确提供线索和证据对于追赃挽损至关重要。如果被害人延误报案或者提供的信息不准确，可能会影响资金的退回进程。
被害人数量与损失：
- 如果存在多个被害人，且诈骗款项不足以清偿全部损失，那么法院可能会按照各被害人被骗金额的比例进行返还。
特殊案件处理：
- 在某些特殊类型的诈骗案件中，如非法集资类诈骗案件，法院在追缴并责令退赔后，可能会先扣除办案费用等必要支出，再按照比例分配剩余资金给被害人。
总结与建议
诈骗资金的退回是一个复杂且受多重因素影响的过程。作为被害人，您应该积极配合司法机关的工作，及时报案并提供准确的线索和证据，以最大程度地争取挽回损失。同时，您也应该理解并接受资金退回可能受到的各种限制和不确定性。在法律框架内，通过正规渠道寻求帮助和解决方案是最佳选择。如果您有任何法律问题或需要进一步的法律建议，请直接向我咨询。