针对您提出的“诈骗案法院判决的时候受害人没有去，退赔怎么给受害人”的问题，这是一个涉及法律执行程序的重要环节。以下是我为您提供的详细解答：

一、退赔的基本原则与流程

在诈骗案件中，若法院判决犯罪嫌疑人需退赔受害人损失，但受害人因故未能出席庭审，这并不影响退赔程序的进行。退赔的基本原则是确保受害人的合法权益得到保障，同时遵循法律程序进行。

二、退赔的具体操作方式

1. 通过法院执行部门退赔：

   • 法院在判决生效后，会指定执行部门负责退赔事宜。
   • 执行部门会联系犯罪嫌疑人或其家属，要求其按照判决书确定的金额进行退赔。
   • 若犯罪嫌疑人或其家属主动履行退赔义务，执行部门会接收退赔款项，并通知受害人领取。
   • 若受害人因故无法亲自领取，可委托他人代领，或提供银行账户信息由执行部门转账。

2. 提存方式退赔：

   • 若犯罪嫌疑人或其家属无法联系到受害人，或受害人拒绝领取退赔款项，执行部门可能会建议采用提存方式。
   • 提存是指将退赔款项交由法定的提存机关（如公证处）保管，待受害人随时领取。
   • 犯罪嫌疑人或其家属需向提存机关提交相关证明材料，并缴纳退赔款项。
   • 提存机关会出具提存证明，作为犯罪嫌疑人已履行退赔义务的依据。

3. 公告方式通知受害人：

   • 在某些情况下，执行部门可能会通过公告方式通知受害人领取退赔款项。
   • 公告会在法院公告栏、相关网站或媒体上发布，明确退赔款项的金额、领取方式和期限。
   • 受害人需在规定期限内领取退赔款项，逾期未领取的，可能会按照法律规定处理。

三、受害人的权利与义务

• 权利：受害人有权要求犯罪嫌疑人按照判决书确定的金额进行退赔，并有权领取退赔款项。
• 义务：受害人应积极配合执行部门的工作，提供必要的证据和信息，以便执行部门准确认定损失数额和退赔金额。同时，受害人也应在规定期限内领取退赔款项，避免逾期未领取带来的不便。

四、特殊情况的处理

• 若受害人无法联系：执行部门会通过多种途径尝试联系受害人，如邮寄通知、电话联系等。若仍无法联系，可能会采用提存方式退赔。
• 若受害人拒绝领取：若受害人明确表示拒绝领取退赔款项，执行部门会记录在案，并按照法律规定处理。这并不影响犯罪嫌疑人已履行退赔义务的事实。

五、建议与总结

• 建议受害人保持联系畅通：为了确保退赔程序的顺利进行，建议受害人保持联系电话畅通，并及时关注法院或执行部门的通知。
• 总结：在诈骗案件中，若法院判决犯罪嫌疑人需退赔受害人损失，但受害人因故未能出席庭审，这并不影响退赔程序的进行。执行部门会通过多种方式确保受害人的合法权益得到保障。同时，受害人也应积极配合执行部门的工作，以便顺利领取退赔款项。

希望以上解答能够对您有所帮助。若您还有其他问题或需要进一步的法律指导，请随时咨询。