结论：诈骗5万元且无法退回赃款的情况下，如果不取保候审，并不意味着会一直被拘留到法院判决，但确实存在被继续羁押的可能性。具体是否会被一直拘留，需结合案件具体情况和司法机关的判断。以下是对此问题的详细分析：

一、法律规定与羁押期限

根据《中华人民共和国刑事诉讼法》的相关规定，犯罪嫌疑人被拘留后，公安机关一般会在三日内提请检察院审查批准逮捕，特殊情况下可延长至七日，对于流窜作案、多次作案、结伙作案的重大嫌疑分子，提请审查批准的时间可以延长至三十日。检察院应在收到提请批准逮捕书后的七日内作出是否批准逮捕的决定。因此，在正常情况下，犯罪嫌疑人被拘留后的最长羁押期限为三十七日（即3日+7日+27日，其中27日为特殊情况下的延长）。

若检察院批准逮捕，犯罪嫌疑人将继续被羁押，直至法院作出判决。但羁押期限并非无限延长，法律对羁押期限有严格规定，如侦查阶段、审查起诉阶段、审判阶段等均有相应的期限限制。

二、取保候审的可能性与条件

尽管您提到无法退回赃款，但取保候审并非完全不可能。根据《刑事诉讼法》的规定，符合以下条件之一的犯罪嫌疑人、被告人，可以取保候审：

1. 可能判处管制、拘役或者独立适用附加刑的；
2. 可能判处有期徒刑以上刑罚，采取取保候审不致发生社会危险性的；
3. 患有严重疾病、生活不能自理，怀孕或者正在哺乳自己婴儿的妇女，采取取保候审不致发生社会危险性的；
4. 羁押期限届满，案件尚未办结，需要采取取保候审的。

对于诈骗5万元的情况，虽然属于“数额巨大”，通常面临三年以上十年以下有期徒刑，但如果存在从轻情节（如认罪认罚、初犯等），且司法机关认为取保候审不致发生社会危险性，仍有可能批准取保候审。

三、影响是否继续羁押的因素

1. 犯罪性质与情节：诈骗手段是否恶劣、是否有潜逃风险、是否累犯等都会影响司法机关的判断。例如，初犯且认罪态度好的嫌疑人更易获得取保批准。
2. 社会危险性评估：包括是否有继续犯罪可能、是否干扰证人作证、是否危害公共安全等。若嫌疑人有固定住所、稳定工作且无前科，通常被认为社会危险性较低。
3. 证据充分性：若案件证据链完整、犯罪事实清晰，司法机关可能更倾向于羁押以确保诉讼顺利进行；反之若证据存疑，可能通过取保候审进一步调查。

四、建议与后续行动

1. 积极与司法机关沟通：了解案件进展和司法机关的态度，争取取保候审的机会。
2. 准备取保候审申请材料：包括书面申请、保证人或保证金等，以证明取保候审不会发生社会危险性。
3. 关注羁押期限：若羁押期限即将届满而案件尚未办结，可依法申请取保候审或变更强制措施。

最后，每个案件的具体情况都有所不同，司法机关的判断也会受到多种因素的影响。因此，如果您或您的亲友面临此类情况，建议直接向我咨询，以便根据案件具体情况提供更详细的法律建议和帮助。