面对对方违约却拒绝退还违约金（这里假设您问题中的“违约金”实际指的是类似定金性质的款项，因为严格来说，违约金和定金在法律上有一定区别，但处理思路有相似之处）的情况，您可以按照以下步骤来维护自己的合法权益：
一、明确合同条款与款项性质
审查合同：
- 首先，仔细审查您与对方签订的合同，特别是关于违约金（或类似定金条款）的约定。明确合同中是否规定了违约金的支付条件、金额以及退还规则。
理解法律条款：
- 根据《中华人民共和国民法典》等相关法律法规，了解违约金（或定金）的法律性质和规定。例如，如果是违约定金，给付定金方违约无权请求返还，收受定金方违约则需双倍返还（但此处我们主要讨论您作为守约方的情况）。
二、收集并保留证据
- 合同证据：保存好合同原件或复印件，作为证明双方约定和权利义务的基础。
- 支付凭证：提供银行转账记录、电子支付截图或收条等，证明您已按照合同约定支付了违约金（或定金）。
- 违约证据：收集对方违约的证据，如聊天记录、邮件往来、书面通知、视频音频资料等，以证明对方确实违反了合同约定。
三、初步应对措施
发送正式函件：
- 在收集好证据后，您可以考虑发送一封正式的函件（如律师函或自行撰写的正式通知），明确指出对方的违约行为，并要求对方按照合同约定退还违约金。
协商解决：
- 尝试与对方进行友好协商，表达您的诉求和理由，看是否能够达成和解。在协商过程中，保持冷静和理性，并留存好协商记录。
四、寻求第三方帮助
消费者协会或行业协会：
- 如果涉及消费领域或特定行业的交易，您可以向当地的消费者协会或行业协会投诉，请求他们进行调解。
监管部门：
- 同时，您也可以考虑向相关监管部门投诉举报对方的不当行为，寻求他们的帮助和支持。
五、法律途径解决
申请仲裁：
- 如果合同中约定了仲裁条款，您可以向约定的仲裁机构申请仲裁。仲裁裁决具有法律效力，且通常比诉讼程序更为快捷。
提起诉讼：
- 如果合同中没有约定仲裁条款，或者您不愿意通过仲裁解决争议，您可以向有管辖权的人民法院提起民事诉讼。在诉讼过程中，您需要准备起诉状、证据清单及相关材料，并参加庭审。如果胜诉，您可以申请执行判决，要求对方退还违约金。
六、综合考量与决策
- 时间与成本：在决定采取法律途径之前，您需要权衡时间、精力和金钱成本。诉讼或仲裁可能耗时耗力，因此您需要评估是否值得投入。
- 持续跟进：无论您选择哪种方式解决问题，都需要持续跟进案件的进展，确保您的权益得到妥善维护。
综上所述，面对对方违约且拒绝退还违约金的情况，您应综合运用合同条款、证据收集、初步应对、第三方帮助及法律途径等多种手段来维护自己的合法权益。在整个过程中，保持冷静理性、注重证据的收集和保留是成功的关键。