结论：若对方诈骗的钱转给了您，一般情况下您是需要还回去的，但具体是否需要归还以及如何归还，需结合实际情况判断。以下从不同角度为您详细分析：
一、法律层面的分析
刑事层面：
- 根据《中华人民共和国刑法》第六十四条的规定，犯罪分子违法所得的一切财物，包括诈骗所得，应当予以追缴或者责令退赔。这意味着，如果诈骗行为被认定，诈骗所得的钱财应当返还给被害人。
- 如果您接收了诈骗所得的钱财，且没有合法依据（如不知情且未获取任何利益），那么您可能被视为诈骗所得的保管者或转手者。在司法机关追缴诈骗所得时，您可能需要配合将钱财返还给被害人。
- 若您明知是诈骗所得而接收或协助转移，则可能构成掩饰、隐瞒犯罪所得罪，面临刑事处罚。
民事层面：
- 诈骗行为本质上构成民事侵权行为，被害人因诈骗遭受财产损失，有权要求诈骗者（及可能涉及的其他责任人）承担返还财产、赔偿损失等民事责任。
- 如果您接收了诈骗所得的钱财，且被害人能够证明这一点，那么被害人可能通过民事诉讼等方式要求您返还钱财或赔偿损失。
二、实际情况的考量
是否知情：
- 如果您在接收钱财时完全不知情，且没有获取任何利益（如未使用、未转移等），那么您可能不需要承担法律责任。但您需要配合司法机关的调查，证明自己的清白。
- 如果您明知是诈骗所得而接收或协助转移，那么您将面临法律责任，包括刑事处罚和民事赔偿。
钱财的去向：
- 如果您已经将接收的钱财用于其他用途（如消费、投资等），且无法追回，那么您可能需要承担赔偿责任。赔偿的金额将根据您的过错程度、钱财的去向以及被害人的损失情况等因素综合确定。
- 如果您仍然保留着接收的钱财，或者能够追回部分或全部钱财，那么您应当配合司法机关将钱财返还给被害人。
三、建议与操作指南
立即报案与配合调查：
- 如果您发现自己接收了诈骗所得的钱财，应立即向公安机关报案，并配合司法机关的调查工作。这有助于证明您的清白，并减少可能的法律责任。
保留证据与记录：
- 在处理此事的过程中，您应保留所有与接收钱财相关的证据和记录（如转账记录、聊天记录等）。这些证据将有助于证明您的立场和情况。
咨询专业律师：
- 由于此类案件涉及刑事和民事法律的交叉领域，且情况复杂多变，因此建议您咨询专业律师（即向我咨询）以获取更具体的法律建议和指导。我可以根据您的具体情况，为您提供针对性的法律分析和操作建议。
关注执行进展：
- 如果司法机关最终判决您需要返还钱财或赔偿损失，您应关注执行的进展情况，并按照判决要求履行义务。如果您未主动履行义务，被害人可以向法院申请强制执行。
总结：若对方诈骗的钱转给了您，您是否需要还回去取决于多种因素，包括您是否知情、钱财的去向以及司法机关的调查结果等。在处理此类案件时，建议您保持冷静、配合调查，并咨询专业律师以获取更具体的法律建议和指导。如果您有任何疑问或需要进一步的帮助，请随时向我咨询。