诈骗案中，退赔的最佳时机通常是在侦查阶段，其次是审查起诉阶段，最后是审判阶段，但总体而言，越早退赔越有利。以下是对这一结论的详细分析：

一、侦查阶段退赔

1. 展现悔罪态度：在侦查阶段，犯罪嫌疑人通过积极退赔，能够向公安机关展现其悔罪态度，表明其愿意弥补被害人损失的诚意。
2. 利于案件处理：此时退赔有助于公安机关及时追缴赃款，减少被害人损失，同时公安机关在制作起诉意见书时也会酌情表述，对后续处理产生积极影响。
3. 可能撤销案件：若退赔及时且情节显著轻微、危害不大，公安机关甚至可能重新评估案件，不认为是犯罪，从而撤销案件。

二、审查起诉阶段退赔

1. 检察机关关注：在审查起诉阶段，检察机关会对案件进行全面审查，包括犯罪事实、证据以及涉案财物的处理等。此时退赔，能够引起检察机关的关注，表明犯罪嫌疑人及其家属的积极态度。
2. 可能从轻处理：检察机关在决定是否起诉及提出量刑建议时，会综合考虑犯罪嫌疑人的退赔情况。积极退赔可能获得检察机关的从轻处理建议。

三、审判阶段退赔

1. 法院量刑考量：在审判阶段，法院在对案件作出判决的同时，也会对涉案财物的处理作出裁决。此时退赔，虽然相对较晚，但仍能作为从轻量刑的情节被法院考量。
2. 强制力保障：法院的判决具有强制力，能够保障受害人的合法权益得到切实维护。退赔工作在此时已经进入到最终的落实阶段。

四、退赔时间的法律效果与实际考量

1. 法律效果：从法律角度来看，退赔时间越早，越能体现犯罪嫌疑人的悔罪态度，对量刑产生积极影响。根据相关规定，对于退赃、退赔的，综合考虑犯罪性质、退赃退赔行为对损害结果的弥补程度等情况，可以减少基准刑。
2. 实际考量：在实际操作中，除了考虑法律效果外，还需要考虑退赔资金的筹集情况、被害人的损失程度以及社会关系的修复等因素。尽早退赔有助于降低被害人损失，修复被犯罪破坏的社会关系。

五、建议与注意事项

1. 尽早退赔：无论在哪个阶段，尽早退赔都是最有利的。这不仅能够展现悔罪态度，争取从轻处罚，还能够减少被害人损失，修复社会关系。
2. 合法筹集资金：在退赔时，应确保资金来源合法，避免因资金问题引发新的法律风险。
3. 配合司法机关工作：在退赔过程中，应积极配合司法机关的工作，按照要求提供相关证据和资料，确保退赔工作的顺利进行。

如果您或您身边的人面临诈骗案退赔的相关问题，可以直接向我咨询。我会根据您的具体情况，提供详细的法律建议和指导。