追回的赃款应首先返还给被害人，剩余部分上缴国库。具体分析如下：
一. 赃款的分配原则
- 返还被害人：根据《中华人民共和国刑法》第六十四条，对被害人的合法财产，应当及时返还。这意味着，在诈骗案件中，一旦赃款被追回，首先应确保被害人的损失得到弥补。
- 上缴国库：同样依据该法条，犯罪分子违法所得的一切财物，在返还被害人后，剩余部分应当予以追缴或者没收，并上缴国库。这体现了国家对犯罪所得财物的处理原则，即不允许犯罪分子从中获益。
二. 实际操作中的注意事项
- 在实际操作中，公安机关或法院在追回赃款后，会进行详细的清算和核对，确保每一笔款项都能准确无误地返还给被害人。
- 如果赃款数额较大，且涉及多个被害人，可能会根据每个被害人的损失比例进行分配。
- 对于无法找到被害人或被害人已经死亡的特殊情况，赃款可能会按照相关法律规定进行特殊处理，如上缴国库或用于公益事业。
综上所述，追回的赃款应首先用于返还被害人的损失，剩余部分则上缴国库。这一原则既体现了对被害人权益的保护，也体现了国家对犯罪所得财物的严格管理。如有进一步需要，您可以继续咨询我。