在刑事案件中，如果不知道受害人是谁，退赃退赔确实会面临一些困难，但还是有办法处理的。

首先，你可以主动向司法机关表达退赃退赔的意愿。司法机关在办案过程中，会尽力查明受害人身份，你也可以通过他们了解受害人的情况。一旦受害人身份确定，你就可以按照司法程序进行退赃退赔了。

其次，如果暂时无法确定受害人，你可以先将退赃退赔的款项交至司法机关指定的账户。这样做既表明了你的悔过态度，也确保了款项的安全。待受害人身份确定后，司法机关会将款项转交给受害人。

此外，你还可以积极配合司法机关的调查工作，提供你所能提供的所有线索和信息，帮助司法机关尽快查明受害人身份。这样不仅能加快退赃退赔的进程，还能在量刑时作为你悔罪表现的一部分，可能对你有所帮助。

总的来说，虽然不知道受害人是谁会给退赃退赔带来一些困难，但只要你积极主动，配合司法机关的工作，还是能够妥善解决这个问题的。如果你在这个过程中有任何疑问或需要进一步的法律帮助，请随时向我咨询。