结论：在协议约定合同解除退还定金，但违约方不履行的情况下，能否要求双倍返还定金，需分情况讨论。
一、协议有特别约定的情况
如果合同双方在协议中明确约定了，在合同解除时，无论何种原因导致的违约，收受定金的一方仅需按原数返还定金，而无需双倍返还，那么这样的约定是有效的，并且具有法律效力。在这种情况下，即使违约方不履行合同，守约方也只能按照协议的约定要求退还定金，而不能要求双倍返还。
举例：在购房合同中，双方可能会因为考虑到不可抗力因素（如自然灾害、政府行为等）对合同履行的影响，而约定在这些情况下定金将不予双倍返还，只按原金额退还。如果后来确实发生了不可抗力因素导致合同解除，且违约方（如卖方）并非故意违约，那么买方就只能按照协议的约定要求退还定金，而不能要求双倍返还。
二、协议无特别约定，但违约方构成根本性违约的情况
如果合同双方没有就定金的返还方式进行特别约定，但违约方的行为构成了根本性违约，即违约行为严重到足以使合同目的无法实现，那么根据《中华人民共和国民法典》第五百八十七条的规定，收受定金的一方应当双倍返还定金。
举例：如果买卖合同中约定卖方应在一定期限内交付符合质量标准的货物，但卖方逾期未交付且货物质量严重不合格，导致买方无法正常使用或转售，那么卖方的行为就构成了根本性违约。在这种情况下，买方有权要求卖方双倍返还定金。
三、违约程度较轻或双方均有过错的情况
如果违约方的行为并未达到根本性违约的程度，或者双方均有过错导致合同解除，那么通常不适用双倍返还定金的条款。此时，守约方可能只能要求违约方承担修理、更换、重作、退货、减少价款或报酬等违约责任，或者根据双方的过错程度调整定金返还比例。
举例：如果卖方交付的货物存在轻微的质量瑕疵，但不影响买方的正常使用或转售，那么卖方的行为就不构成根本性违约。在这种情况下，买方可能只能要求卖方承担修理、更换等违约责任，而不能要求双倍返还定金。如果双方均有过错导致合同解除，比如买方未按时支付货款且卖方未按时交付货物，那么法院可能根据双方的过错程度调整定金返还比例。
法律建议：
可能法律后果：
如果违约方不履行合同且构成根本性违约，而守约方又无法通过协商、调解等方式解决争议，那么守约方可能会选择通过法律途径来追究违约方的责任。这可能导致违约方需要承担双倍返还定金、赔偿损失等法律责任。同时，诉讼过程也可能给双方带来额外的时间成本和经济成本。因此，在签订合同时和履行合同过程中，双方都应谨慎行事，尽量避免违约情况的发生。