结论：在此情况下，您有权要求对方承担违约责任，具体赔偿方式需根据定金与违约金的法律规定及实际损失情况来确定，一般可要求对方支付违约金或双倍返还定金，但二者不可同时主张，且违约金过高时法院可能予以调整。

详细分析：

1. 定金与违约金的法律规定：

   • 定金：根据《中华人民共和国民法典》第五百八十七条，债务人履行债务的，定金应当抵作价款或者收回。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。
   • 违约金：根据《中华人民共和国民法典》第五百八十五条，当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。

2. 赔偿方式的选择：

   • 选择违约金：由于合同中已明确约定违约金为20万，且对方拒绝履行合同，您有权要求对方支付这20万违约金。但需注意，如果实际损失远低于20万，对方可能会请求法院减少违约金数额。
   • 选择定金：对方已支付5万定金，根据定金罚则，您有权要求对方双倍返还定金，即10万。但选择定金赔偿后，就不能再主张违约金了。

3. 实际损失与违约金调整：

   • 如果您能证明因对方违约造成的实际损失远高于或低于约定的违约金，您可以向法院提出调整违约金的请求。法院会根据实际损失、合同履行情况、当事人过错程度等因素，综合判断是否调整违约金数额。

4. 诉讼或仲裁途径：

   • 如果对方拒绝支付违约金或双倍返还定金，您可以通过诉讼或仲裁途径来维护自己的权益。在提起诉讼或仲裁前，建议您收集好相关证据，如合同、定金收据、对方违约的证据等。

建议：

• 评估实际损失：首先评估因对方违约造成的实际损失，以便在主张违约金或定金时有所依据。
• 选择赔偿方式：根据实际损失和合同约定，选择最有利的赔偿方式（违约金或定金）。
• 收集证据：收集好相关证据，以备在诉讼或仲裁中使用。
• 咨询专业律师：虽然我已经提供了基本的法律分析，但每个案件的具体情况都有所不同。如果您需要更详细的法律建议或帮助，可以直接向我咨询，我会根据您的具体情况提供个性化的法律服务。