面对对方违约却拒绝退还违约金（这里假设您所指的“违约金”在实际情况中可能涉及定金或其他类似性质的款项，因通常违约金概念与定金罚则有所区别，但处理流程有相似之处）的情况，您可以按照以下步骤来维护自己的合法权益：
一、明确合同条款与款项性质
审查合同：
- 首先，仔细审查您与对方签订的合同，特别是关于违约金（或定金）的条款。确认合同中是否有明确规定在对方违约时，您有权要求退还违约金（或定金）的具体情形和金额。
理解法律条款：
- 如果合同中涉及的是定金，根据《中华人民共和国民法典》的相关规定，定金是债权的担保，违约方需按法律规定承担相应责任。即给付定金方违约无权请求返还，收受定金方违约则需双倍返还。若合同中明确约定的是违约金，则依据合同约定及法律规定处理。
二、证据收集与保留
收集关键证据：
- 保留好与对方签订的合同、认购书、意向书等书面文件，这些文件应明确约定了违约金（或定金）的金额、目的及双方的权利义务。
- 收集定金（或违约金）交付的凭证，如银行转账记录、电子支付截图、收条等，以证明款项已实际交付。
- 收集对方违约的证据，如聊天记录、邮件往来、书面通知、视频音频资料等，这些证据将证明对方的违约行为。
妥善保存证据：
- 证据是维权的关键，务必妥善保存所有相关证据，以备后续使用。
三、初步应对措施
发送正式函件：
- 在收集好证据后，您可以考虑发送一份正式的函件（如律师函或自行撰写的正式通知），明确指出对方的违约行为，并要求对方按照合同条款或法律规定退还违约金（或定金）。
尝试协商解决：
- 与对方进行沟通协商，尝试以和平的方式解决问题。在协商过程中，保持冷静和理性，明确表达您的诉求，并留存好协商记录。
四、寻求第三方帮助
消费者协会或行业协会调解：
- 如果涉及消费领域或特定行业的交易，您可以向当地的消费者协会或行业协会投诉，请求他们进行调解。
监管部门投诉举报：
- 同时，您也可以考虑向相关监管部门投诉举报对方的不当行为，以促使对方履行退款义务。
五、法律途径解决
申请仲裁：
- 如果合同中约定了仲裁条款，您可以向约定的仲裁机构申请仲裁。仲裁裁决具有法律效力，且通常比诉讼程序更为快捷。
提起诉讼：
- 如果合同中没有约定仲裁条款，或者您不愿意通过仲裁方式解决争议，您可以向有管辖权的人民法院提起民事诉讼。在提起诉讼前，您需要准备好起诉状、证据清单及相关材料，并参加庭审。如果胜诉，您可以申请执行判决，以迫使对方履行退款义务。
六、综合考量与决策
权衡时间与成本：
- 在决定采取何种维权方式时，您需要权衡时间、精力和经济成本。诉讼或仲裁可能耗时耗力，因此您需要评估是否值得投入。
持续跟进：
- 无论您选择哪种方式维权，都需要持续跟进案件的进展，确保问题得到妥善解决。
综上所述，面对对方违约且拒绝退还违约金（或定金）的情况，您应综合运用合同条款、证据收集、初步应对、第三方帮助及法律途径等多种手段来维护自己的合法权益。在整个过程中，保持冷静理性、注重证据的收集和保留是成功的关键。