交通事故赔偿协议如果被撤销，受害方收到的钱不一定要全部退回去，这取决于撤销的原因以及协议的具体内容。以下从不同角度为你详细分析：

一、协议撤销的法定情形

根据《民法典》的相关规定，合同（包括交通事故赔偿协议）可能因以下原因被撤销：

1. 重大误解：如果受害方或赔偿方在签订协议时对协议内容存在重大误解，导致协议显失公平，任何一方都有权请求法院或仲裁机构撤销协议。
2. 欺诈、胁迫：如果一方以欺诈、胁迫的手段使对方在违背真实意思的情况下签订协议，受欺诈或胁迫方有权请求撤销。
3. 显失公平：如果协议内容明显不公平，例如赔偿金额远低于实际损失，受害方有权请求撤销。

二、协议撤销后的法律后果

1. 返还财产：如果协议被撤销，原则上双方应当返还因协议取得的财产。这意味着，如果受害方已经收到了赔偿款，理论上应当退还给赔偿方。
2. 赔偿损失：然而，返还财产并非绝对。如果返还财产不可能或没有必要，或者返还财产会导致一方遭受重大损失，法院可能会根据具体情况判决赔偿损失。例如，如果受害方已经用赔偿款支付了医疗费用，且无法从其他途径获得补偿，法院可能会判决赔偿方承担这部分费用，而不是要求受害方退还全部赔偿款。
3. 过错责任：如果协议被撤销是由于一方的过错导致的，例如欺诈或胁迫，过错方应当赔偿对方因此遭受的损失。这意味着，如果赔偿方通过欺诈手段使受害方签订了不公平的协议，赔偿方不仅需要退还已支付的赔偿款，还可能需要额外赔偿受害方的损失。

三、实际操作中的考虑因素

1. 协议的具体内容：协议中是否明确约定了撤销后的处理方式，例如是否约定了返还财产或赔偿损失的具体条款。
2. 双方的实际情况：包括受害方的实际损失、赔偿方的支付能力、返还财产的可行性等。
3. 法院的裁量权：法院在判决时会综合考虑各种因素，包括双方的过错程度、实际损失情况、返还财产的可行性等，以作出公平合理的判决。

四、建议

1. 在签订协议前仔细审查：确保协议内容明确、公平，避免存在重大误解或显失公平的情况。
2. 保留相关证据：如医疗费用发票、收入证明等，以便在协议被撤销时证明自己的实际损失。
3. 及时咨询专业律师：如果协议被撤销或面临撤销的风险，及时咨询专业律师，了解自己的权利和义务，以及可能的法律后果。

总结来说，交通事故赔偿协议如果被撤销，受害方收到的钱不一定要全部退回去。具体是否需要退还以及退还的金额，取决于撤销的原因、协议的具体内容以及双方的实际情况。如果你面临类似的问题，可以直接向我咨询，我会根据你的具体情况为你提供专业的法律建议。