结论：撤销协议后，赔偿是否退还取决于协议被撤销的原因及具体情况。以下是对不同情形的详细分析：

1. 因重大误解、欺诈、胁迫而撤销协议

   • 法律效果：若协议因一方存在重大误解、欺诈或胁迫行为而被撤销，该协议自始无效。这意味着，双方应恢复到协议订立前的状态。
   • 赔偿退还：在此情况下，已支付的赔偿款通常应当退还。因为协议的撤销是基于一方的过错行为，导致另一方在违背真实意愿的情况下签订了协议。所以，恢复原状是合理的法律后果，包括退还已支付的赔偿。

2. 因显失公平而撤销协议

   • 法律效果：若协议内容明显对一方极为不利，双方在权利义务上严重失衡，且该失衡是由于一方利用对方的危困状态、缺乏判断能力等情形所导致的，那么受损害方有权请求撤销协议。协议被撤销后，同样视为自始无效。
   • 赔偿退还：在显失公平的情形下，已支付的赔偿款是否退还，需根据具体情况判断。如果赔偿款明显高于实际损失，且受损害方在签订协议时处于不利地位，那么退还部分或全部赔偿款可能是合理的。然而，如果赔偿款与实际损失相符，或者受损害方在签订协议时并未处于明显不利地位，那么退还赔偿款可能不是必须的。但通常来说，显失公平被撤销后，法院会综合考虑双方实际情况，对已履行部分进行合理调整，可能包括赔偿款的退还或部分退还。

3. 撤销权的行使与限制

   • 行使方式：无论基于何种原因撤销协议，当事人均需通过诉讼或仲裁的方式，向有管辖权的法院或仲裁机构提出撤销申请，并提供充分的证据支持其主张。
   • 时间限制：撤销权的行使受到时间限制。一般情况下，当事人自知道或应当知道撤销事由之日起一年内未行使撤销权的，撤销权消灭。对于因重大误解而订立的协议，当事人自知道或应当知道撤销事由之日起九十日内未行使撤销权的，同样丧失撤销权。若撤销权是基于胁迫而产生的，则自胁迫行为终止之日起一年内未行使的，撤销权亦消灭。

法律建议：

• 如果您认为协议存在可撤销的情形，建议及时收集证据，并通过诉讼或仲裁的方式行使撤销权。
• 在行使撤销权前，您可以先尝试与对方协商，看是否能够达成和解，以节省时间和成本。
• 如果协议被撤销，您应根据法院或仲裁机构的判决或裁决，及时履行返还或调整义务，以避免进一步的法律纠纷。

可能法律后果：

• 如果协议被撤销，且您需要退还赔偿款，但您拒绝退还，对方可能会向法院申请强制执行，这将对您的信用记录和财产状况产生不利影响。
• 如果协议被撤销后，您认为对方应承担部分或全部责任，您可以在诉讼或仲裁过程中提出反诉或抗辩，以维护自己的合法权益。

如有任何疑问或需要进一步的法律帮助，请随时向我咨询。