结论前置：在诈骗案件中，退赃给被害人的钱能否要回来，取决于多种因素，包括犯罪嫌疑人的财产状况、案件侦破的时效性、司法机关的追缴力度以及受害人的配合程度等。以下是对这一问题的详细分析：
可能追回的情形
犯罪嫌疑人主动退赃且未被挥霍或转移：
- 如果犯罪嫌疑人在案发后主动退赃，且这些资金尚未被挥霍或转移，那么被害人有很大可能性能够追回这些钱款。主动退赃可以作为量刑时的一个考虑因素，从而可能减少犯罪嫌疑人的刑罚，同时也为被害人追回损失提供了直接途径。
司法机关及时追缴并退赔：
- 司法机关在侦查、起诉和审判过程中，会尽力追缴犯罪嫌疑人的违法所得。如果能够及时冻结、扣押涉案资金，并在案件审结后将这些资金退赔给被害人，那么被害人也能够追回部分或全部损失。
通过附带民事诉讼或另行提起民事诉讼获得赔偿：
- 在刑事诉讼过程中，被害人可以提起附带民事诉讼，要求犯罪嫌疑人赔偿因诈骗行为导致的物质损失。如果刑事案件已审结，被害人仍可单独提起民事诉讼，要求诈骗犯赔偿损失。获得胜诉判决后，可以通过法院强制执行程序，将犯罪嫌疑人的其他财产变现以弥补损失。
难以追回的情形
资金已被挥霍或转移：
- 如果诈骗所得已被犯罪嫌疑人挥霍或通过各种手段进行转移，特别是当资金被转移到境外或拆分到多个账户时，追回的难度会大大增加。此时，即使被害人提起诉讼并获得胜诉判决，也可能因为犯罪嫌疑人没有可供执行的财产而无法实际追回损失。
犯罪嫌疑人无力偿还：
- 如果犯罪嫌疑人本身经济状况较差，没有可供执行的财产，即使法院判决其承担退赔责任，也无法实际履行。这种情况下，被害人的损失往往难以得到弥补。
证据不足或不明确：
- 在诈骗案件的侦查和审理过程中，如果证据不足或不明确，可能会影响对涉案资金的认定和追赃工作。例如，如果犯罪嫌疑人与被害人之间的资金往来没有明确的书面记录，或者犯罪嫌疑人故意销毁证据，都可能导致司法机关无法准确认定诈骗金额和资金流向，从而影响追回损失的可能性。
法律建议
及时报警并配合调查：
- 一旦发现自己被骗，应立即报警并配合公安机关的调查工作。及时报警有助于司法机关迅速反应，冻结或扣押涉案资金，从而增加追回损失的可能性。
保留相关证据：
- 在日常生活中注意保留与诈骗案件相关的证据，如转账记录、聊天记录等。这些证据在后续的法律程序中可能起到关键作用，有助于证明诈骗事实和追回损失。
寻求专业法律帮助：
- 在处理诈骗案件时，建议寻求专业律师的帮助。律师可以提供法律咨询、代理诉讼等服务，帮助被害人更好地维护自己的合法权益。
关注案件进展并积极配合：
- 在案件侦破和审理过程中，被害人应保持与警方的密切联系，及时了解案件进展，并积极配合警方的侦查工作。这有助于增加追回被骗款项的可能性。
综上所述，诈骗退赃给被害人的钱能否要回来取决于多种因素的综合作用。为了尽可能减少损失，建议被害人及时报警、保留证据、寻求专业法律帮助，并关注案件进展积极配合调查工作。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。