结论：在双方都被骗的情况下，对方转账是否需要退回，需根据具体情况判断，主要看转账的性质以及是否存在法律上的返还义务。以下从不同角度进行分析：

1. 转账性质为不当得利：

   • 法律解释：如果对方转账是基于误解或欺诈，且该转账行为并未构成你应得的合法收入（即不当得利），根据《中华人民共和国民法典》的相关规定，受损方有权请求得利人返还取得的利益。
   • 具体情形：例如，对方误将款项转入你的账户，或你通过欺诈手段使对方转账（但此处你本身也是受害者，所以主要考虑对方误转的情况）。在这种情况下，即使你也是被骗的，但对方作为受损方，仍有权要求你返还转账。
   • 建议：若确认转账为不当得利，应主动与对方沟通，协商返还事宜，以避免不必要的法律纠纷。

2. 转账性质为合同款项或合法交易：

   • 法律解释：如果转账是基于双方之间的合同或合法交易，且该交易本身并未因欺诈而无效（即尽管双方都被骗，但交易行为本身在法律上仍被视为有效），则转账可能无需退回。
   • 具体情形：例如，双方签订了一份购买合同，并基于该合同进行了转账。后来发现合同中的标的物并不存在或存在欺诈行为，但转账行为本身是基于合同的有效履行。在这种情况下，是否需要退回转账可能取决于合同的解除、撤销或无效后的法律后果。
   • 建议：若涉及合同款项或合法交易，应仔细审查合同条款及交易过程，咨询专业律师以确定转账是否需要退回及如何退回。

3. 双方均存在过错或欺诈行为：

   • 法律解释：如果双方在交易过程中均存在过错或欺诈行为，导致转账发生，则可能需要根据双方的过错程度来分担责任。
   • 具体情形：例如，双方共同参与了一个欺诈计划，并因此产生了转账行为。在这种情况下，转账的返还可能涉及复杂的法律责任划分和证据认定。
   • 建议：若双方均存在过错或欺诈行为，应尽快收集证据并咨询专业律师，以确定各自的法律责任及转账的返还问题。

进一步思考：

• 在处理此类问题时，应首先确认转账的性质和原因，以及双方在交易过程中的行为和责任。
• 若涉及大额转账或复杂交易，建议及时咨询专业律师，以获取更具体的法律建议和指导。
• 在与对方沟通时，应保持冷静和理性，避免情绪化或激化的言辞，以寻求和平解决纠纷的途径。

如有任何疑问或需要进一步的法律帮助，请直接向我咨询。