面对您遇到的“约定了违约不退押金，但对方违约却拒绝退还”的情况，您可以按照以下步骤来处理，以维护自己的合法权益：

一、明确合同条款与押金性质

首先，您需要仔细审查合同中关于押金退还的条款。押金在合同中通常作为担保性质存在，用于确保合同的履行。如果合同中明确规定了违约不退押金，并且这一条款不违反法律法规的强制性规定，那么从合同约定上来看，对方在违约时确实有权不退还押金。但这里的关键是，要确认对方是否真的存在违约行为，以及该违约行为是否符合合同中约定的不退押金的条件。

二、收集并保留证据

在确认对方违约后，您需要收集并保留相关证据，以证明对方的违约行为。这些证据可能包括：

• 合同文本：作为双方约定的基础，合同文本是证明押金条款和违约责任的重要依据。
• 押金交付凭证：如银行转账记录、收条等，证明您已经按照合同约定交付了押金。
• 对方违约证据：如聊天记录、邮件往来、书面通知、视频音频资料等，这些都能直接证明对方的违约行为。

三、尝试协商解决

在收集好证据后，您可以尝试与对方进行沟通协商，要求对方按照合同约定或法律规定退还押金。在协商过程中，保持冷静和理性，明确表达自己的诉求和理由，并留存好协商记录，以备后续使用。

四、寻求第三方帮助

如果协商无果，您可以考虑寻求第三方的帮助来解决问题。这包括：

• 消费者协会或行业协会：如果涉及消费领域或特定行业交易，您可以向消费者协会或行业协会投诉，请求他们进行调解。
• 监管部门：您也可以向相关监管部门投诉举报对方的不当行为，寻求他们的支持和帮助。

五、考虑法律途径

如果以上方法都无法解决问题，您可以考虑通过法律途径来维护自己的权益。这包括：

• 发送律师函：在收集好证据后，您可以委托律师发送正式的律师函，明确指出对方的违约行为及退款要求，增加法律压力。
• 申请仲裁：如果合同中约定了仲裁条款，您可以向约定的仲裁机构申请仲裁，仲裁裁决具有法律效力。
• 提起诉讼：如果无仲裁条款，您可以向有管辖权的人民法院提起民事诉讼。在诉讼过程中，您需要准备起诉状、证据清单及相关材料，并参加庭审。如果胜诉，您可以申请执行判决，要求对方退还押金。

六、综合考量与决策

在决定采取何种措施时，您需要权衡时间、成本和效果等因素。诉讼或仲裁可能耗时耗力，但如果押金金额较大或对方态度强硬，这可能是必要的手段。同时，无论选择哪种方式，都需要持续跟进，直至问题得到妥善解决。

总之，面对对方违约且不肯退还押金的情况，您应综合运用合同条款、证据收集、协商解决、第三方帮助及法律途径等多种手段来维护自己的合法权益。在整个过程中，保持冷静理性，注重证据的收集和保留是成功的关键。