结论：合同未约定违约金时，对方违约保证金是否退还，需根据合同具体条款、违约情形及法律规定综合判断。以下从不同角度为您详细分析：
一、合同条款的约定是首要依据
保证金性质明确：若合同中明确约定了保证金的性质（如定金、履约保证金等）及其退还条件，则应按照合同约定执行。例如，若合同约定“乙方违约时，保证金不予退还”，则在此情形下，对方违约时，保证金通常不予退还。
保证金性质未明确：若合同未明确保证金的性质或退还条件，则需根据合同的整体内容、交易习惯及法律规定来推断。在此情形下，保证金可能被视为一种履约担保，对方违约时，您有权要求退还保证金，但具体退还金额和方式可能需通过协商或诉讼解决。
二、违约情形的具体分析
根本违约：若对方的违约行为导致合同目的无法实现（如未按时交付货物、交付的货物存在严重质量问题等），则构成根本违约。在此情形下，您不仅有权要求退还保证金，还有权要求对方承担违约责任，包括赔偿损失等。
非根本违约：若对方的违约行为未导致合同目的无法实现（如轻微延迟交付、交付的货物存在小瑕疵等），则可能构成非根本违约。在此情形下，您仍有权要求退还保证金，但对方可能只需承担部分违约责任或无需承担违约责任（具体取决于合同约定和法律规定）。
三、法律规定的适用
《民法典》的相关规定：根据《中华人民共和国民法典》的相关规定，当事人可以约定一方向对方给付定金作为债权的担保。定金合同自实际交付定金时成立。给付定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还定金；收受定金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还定金。但需注意，定金与保证金在法律上并非同一概念，若合同中明确约定为保证金而非定金，则不适用定金罚则。
违约责任的一般规定：即使合同未约定违约金，对方违约时，您仍有权要求其承担违约责任。违约责任的形式包括继续履行、采取补救措施、赔偿损失等。在此情形下，保证金可能作为赔偿损失的一部分或单独作为违约责任的承担方式。
四、建议与措施
审查合同条款：首先，仔细审查合同中关于保证金的约定，明确其性质、金额、退还条件等。
收集证据：收集对方违约的证据，如交货单、质量检验报告、沟通记录等，以证明对方的违约行为。
协商解决：尝试与对方协商解决纠纷，明确保证金退还事宜及违约责任承担方式。
寻求法律途径：若协商无果，可考虑通过诉讼或仲裁等法律途径解决纠纷。在此过程中，建议咨询专业律师以获取更具体的法律建议。
总结：合同未约定违约金时，对方违约保证金是否退还需根据合同具体条款、违约情形及法律规定综合判断。在处理此类纠纷时，建议仔细审查合同条款、收集证据、尝试协商解决，并在必要时寻求法律途径。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。