撤销权并非只能由合同双方去撤销，其归属取决于合同的具体情形及法律规定。以下是对此问题的详细分析：
一、撤销权的行使主体
一般情况：
- 在多数可撤销合同的情形中，并非合同双方都享有撤销权。通常，只有受损害、存在重大误解或受欺诈、胁迫的一方才享有撤销权。例如：
- 重大误解：若一方因对合同的重要内容存在错误认识而签订合同，该误解方有权请求撤销合同。如甲误将赝品当作真品卖给乙，甲作为误解方享有撤销权，而乙作为正常交易方则不享有此权利。
- 欺诈：若一方以欺诈手段使对方违背真实意思签订合同，受欺诈方有权请求撤销合同。欺诈方则不享有撤销权。如丙隐瞒车辆事故史将车卖给丁，丁作为受欺诈方有权撤销合同。
- 胁迫：若一方或第三人以胁迫手段使对方违背真实意思签订合同，受胁迫方有权请求撤销合同。胁迫方不享有撤销权。如戊威胁己家人安全迫使己低价卖房，己作为受胁迫方可请求撤销合同。
- 显失公平：若一方利用对方处于危困状态或缺乏判断能力等情形，导致合同成立时显失公平，受损害方有权请求撤销合同。利用不利状况获取不当利益的一方不享有撤销权。
特殊情况：
- 在某些特定合同关系中，法律可能赋予特定主体撤销权。例如，在无权代理合同中，被代理人对无权代理行为享有追认或撤销的权利。但这种情况并不改变一般原则，即撤销权通常归属于受损害或受欺诈、胁迫的一方。
二、撤销权的行使条件与期限
- 行使条件：撤销权的行使需满足法律规定的特定条件，如重大误解、欺诈、胁迫或显失公平等。
- 行使期限：撤销权需在法定期限内行使。一般情况下，自知道或应当知道撤销事由之日起一年内行使；重大误解的当事人自知道或应当知道撤销事由之日起九十日内行使；受胁迫的当事人自胁迫行为终止之日起一年内行使；自民事法律行为发生之日起五年内未行使的，撤销权消灭。
三、撤销权的行使方式
- 撤销权必须通过人民法院或仲裁机构进行行使，不能自行撤销。当事人需提供充分证据证明存在可撤销事由，由法院或仲裁机构审查并裁决。
实际应用建议
- 在实际交易中，当事人应仔细审查合同条款及交易过程，确保合同内容真实、合法、有效。
- 如发现存在可撤销情形，如重大误解、欺诈、胁迫或显失公平等，应及时收集证据并咨询专业律师（即我），以便在法定期限内通过合法方式行使撤销权，维护自身合法权益。
综上所述，撤销权的归属并非由合同双方共同享有，而是根据合同的具体情形及法律规定来确定。在实际应用中，当事人应了解并遵守相关法律规定，确保自身权益得到有效保护。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。