针对您提出的“诈骗案中双方都去受害者钱怎么要回来”的问题，以下是一些详细的解答和建议：

首先，要明确的是，在诈骗案中，受害者应该尽快采取措施来保护自己的权益并尝试追回损失。以下是具体的步骤和建议：

一、及时报警并提供详细信息

• 发现被骗后，应立即向当地的公安机关报案。
• 提供尽可能详细的诈骗信息，包括诈骗手段、过程、涉及的人员、交易记录、聊天记录等。这些信息对于公安机关快速侦破案件、追回被骗款项至关重要。

二、积极配合公安机关调查

• 在报案后，应积极配合公安机关的工作，按要求提供证据材料，并如实陈述事情经过。
• 公安机关会根据掌握的线索开展侦查工作，追踪犯罪嫌疑人及被骗款项的去向。

三、提起附带民事诉讼

• 如果犯罪嫌疑人被依法追究刑事责任，受害者可以在刑事诉讼过程中，向法院提起附带民事诉讼。
• 在附带民事诉讼中，可以要求犯罪嫌疑人返还被骗的财物并赔偿相应损失。

四、关注追赃挽损进展

• 了解案件侦查过程中追赃挽损的情况，包括是否查封、扣押、冻结了犯罪嫌疑人的相关财产。
• 一旦案件侦破，被骗款项追回，会按法定程序返还给被害人。

五、特殊情况处理

• 如果存在多名受害者，且查扣财物不足以按损失比例全额返还时，司法机关会按照相关规定进行分配。
• 如果犯罪嫌疑人已将部分或全部财物挥霍、转移，难以追回，或者财物被用于偿还债务、投资等，追赃难度会增大。在这种情况下，受害者应尽可能提供线索，协助司法机关追赃。

六、保持沟通与咨询

• 在整个过程中，受害者应保持与公安机关、检察机关或法院的沟通，了解自己的权益和能得到的帮助。
• 如有需要，可以寻求专业法律人士的帮助，以更好地维护自己的权益。

综上所述，要追回被诈骗的钱款，需要受害者及时报警、积极配合调查、提起附带民事诉讼，并关注追赃挽损的进展。同时，也要做好特殊情况的处理和保持沟通与咨询。希望这些建议能对您有所帮助。