结论前置：在赃物价值5万元且已退赃的情况下，赔偿受害人损失需结合退赃性质、受害人实际损失及法律规定综合判断，具体分为以下两种情形：

1. 退赃为法定返还义务，赔偿需以实际损失为限

根据《刑法》第六十四条及《民法典》第一千一百八十四条，若退赃是司法机关依法追缴的违法所得（如盗窃、诈骗等案件中的赃款赃物），则退赃本身属于法定返还义务，赔偿范围应限于受害人因犯罪行为遭受的直接经济损失。

• 直接损失：指赃物本身价值（5万元）及因赃物灭失、损坏导致的合理费用（如修复费、运输费等）。若赃物已完整退还且无损坏，受害人通常无权主张额外赔偿。
  
• 间接损失：如受害人因赃物被扣期间产生的经营损失、利息损失等，一般不属于法定赔偿范围，除非行为人存在过错（如故意毁损赃物）。
  

示例：若行为人盗窃一辆价值5万元的汽车并退还，但车辆因使用产生折旧，受害人可主张折旧损失（需评估鉴定）；若车辆完好无损，则仅需返还车辆，无需额外赔偿。

2. 退赃为自愿补偿，赔偿可突破实际损失

若退赃是行为人自愿退还（如民事纠纷中的财物返还），或行为人希望通过赔偿减轻刑事责任/获得从宽处理，则赔偿范围可由双方协商确定，甚至可超出实际损失。

• 协商赔偿：双方可签订赔偿协议，约定行为人除退还5万元赃物外，另行支付受害人因赃物被扣导致的间接损失（如误工费、交通费等）。
  
• 刑事和解：在刑事案件中，若行为人积极赔偿并取得受害人谅解，司法机关可能依据《刑事诉讼法》第二百八十八条从宽处理（如不起诉、缓刑等）。
  

示例：行为人诈骗5万元后自愿退还，并额外支付受害人因追讨款项产生的律师费、差旅费等，此类赔偿若双方自愿，法律不禁止。

关键提醒

• 证据固定：无论何种情形，均需保留退赃凭证（如收条、转账记录）、损失证明（如维修发票、评估报告）等证据，以备诉讼或协商使用。
  
• 法律程序：若协商不成，受害人可通过民事诉讼主张赔偿，需注意诉讼时效（一般为3年，自知道权利受损之日起算）。
  

如有具体案件细节（如赃物类型、行为性质、损失明细等），可进一步向我咨询，我将结合案情提供针对性建议。