面对合同违约且对方不肯退还定金的情况，您可以按照以下步骤来维护自己的合法权益：

一、明确合同条款与定金性质

首先，您需要仔细审查合同中关于定金的条款，明确定金的类型（如违约定金）以及双方的权利义务。根据《中华人民共和国民法典》的相关规定，定金是债权的担保，如果给付定金的一方违约，则无权请求返还定金；而如果收受定金的一方违约，则需要双倍返还定金。这是您要求退款的最直接法律依据。

二、收集并保留关键证据

证据是维权的关键，您需要收集并保留以下关键证据：

1. 定金合同存在证明：如书面合同、认购书、意向书等，这些文件应明确约定定金金额、目的及双方的权利义务。
2. 定金交付凭证：银行转账记录、电子支付截图、收条等，这些凭证能证明定金已经实际交付给对方。
3. 对方违约证据：聊天记录、邮件往来、书面通知、视频音频资料等，这些证据能证明对方确实存在违约行为。

三、尝试友好协商

在收集好证据后，您可以尝试与对方进行友好协商，要求对方按照定金罚则或合同条款退还定金。在协商过程中，保持冷静和理性，清晰表达自己的诉求和立场，并指出对方的违约事实及退款依据。如果可能，您可以提出一些折中的方案，以增加协商成功的可能性。

四、发送律师函

如果协商无果，您可以考虑发送正式的律师函给对方。律师函会明确指出对方的违约行为及您的退款要求，并施加一定的法律压力，促使对方履行退款义务。

五、寻求第三方帮助

如果发送律师函后对方仍然拒绝退款，您可以考虑向消费者协会、行业协会或相关监管部门投诉举报对方的不当行为。这些机构可能会介入调解，帮助您解决问题。

六、采取法律途径

如果以上措施均无法解决问题，您可以考虑采取法律途径来维护自己的权益：

1. 申请仲裁：如果合同中约定了仲裁条款，您可以向约定的仲裁机构申请仲裁。仲裁裁决具有法律效力，且程序相对灵活高效。
2. 提起诉讼：如果没有仲裁条款，您可以向有管辖权的人民法院提起民事诉讼。在诉讼过程中，您需要准备起诉状、证据清单及相关材料，并参加庭审。如果胜诉，您可以申请执行判决，要求对方履行退款义务。

七、综合考量与决策

在采取任何行动之前，您需要综合考量时间、成本等因素。诉讼或仲裁可能耗时耗力，因此您需要权衡是否值得投入。同时，无论选择哪种方式，都需要持续跟进，直至问题得到妥善解决。

总之，面对合同违约且对方不肯退还定金的情况，您应综合运用合同条款、证据收集、友好协商、第三方帮助及法律途径等多种手段来维护自己的合法权益。在整个过程中，保持冷静理性，注重证据的收集和保留是成功的关键。如有需要，您可以咨询专业律师以获取更具体的法律建议和帮助。