在被害人损失不明的情况下，退赔工作需依据法律程序进行，并努力查明损失情况以确定退赔数额。以下是对此问题的详细分析：

一. 查明损失情况

1. 司法机关调查：首先，司法机关（如公安机关、检察院、法院）会依法对案件进行调查，尽可能查明被害人的实际损失。这可能包括调取相关证据、询问被害人及证人、进行资产评估等。

2. 被害人举证：被害人也应积极配合司法机关的调查，提供自己所能掌握的所有损失证据，如交易记录、合同、发票等。

• 例如，在集资诈骗案中，被害人应提供自己投入的资金证明、收益承诺等，以便司法机关评估损失。

二. 确定退赔数额

1. 依据查明的事实：在损失情况基本查明后，司法机关会根据查明的事实和证据，依法确定被害人的损失数额，并据此作出退赔决定。

2. 协商或裁决：如果损失数额存在争议，司法机关可能会组织被害人与犯罪分子进行协商，或者依法作出裁决。

三. 执行退赔

1. 责令退赔：一旦退赔数额确定，司法机关会责令犯罪分子在一定期限内进行退赔。

2. 申请强制执行：如果犯罪分子拒不履行退赔义务，被害人有权依法向人民法院申请强制执行。法院将采取一系列强制措施，如查询、冻结、划拨财产等，以确保退赔决定的执行。

四. 特殊情况的处理

1. 损失无法完全查明：如果由于客观原因（如证据灭失、犯罪分子逃逸等）导致损失无法完全查明，司法机关会依据现有证据和法律规定，尽可能合理地确定退赔数额。

2. 被害人救助：在损失无法完全弥补的情况下，被害人可以关注当地是否有刑事被害人救助制度，以申请获得一定的经济救助。

我建议：被害人应积极配合司法机关的调查工作，提供尽可能多的损失证据。同时，关注案件进展，及时行使自己的权利，如申请强制执行、参与协商等。在损失无法完全查明或无法完全退赔的情况下，可以寻求其他途径（如刑事被害人救助制度）来弥补损失。如有进一步需要，您可以继续咨询我。