结论：合同中虽未约定违约时不退还保证金，但保证金是否需要退还，需结合合同具体内容、违约情形及法律规定综合判断。以下从不同角度进行分析：

一、合同约定优先原则

1. 合同有明确约定：如果合同中除了约定一方违约时另一方有权解除合同外，还明确约定了保证金的处理方式（如违约时不退还保证金），则应按照合同约定执行。

2. 合同无明确约定：若合同中仅约定了违约解除合同的权利，但未对保证金的处理作出明确规定，则需要依据法律规定和合同目的、交易习惯等来确定保证金是否退还。

二、保证金性质与目的

1. 保证金作为担保：保证金通常是为了确保合同的履行而设立的，如果一方违约导致合同解除，且该违约行为与保证金担保的范围相关，那么另一方可能有权根据保证金的性质和目的，主张不予退还保证金。但这一主张并非绝对，还需结合具体违约情形和合同条款来判断。

2. 保证金非担保性质：如果保证金并非作为合同履行的担保，而是作为其他目的（如预付款、定金等）而支付，那么其处理方式可能有所不同。例如，如果保证金被视为预付款，则在合同解除时，除非双方另有约定，否则应予以退还。

三、违约情形与责任

1. 根本违约：如果违约行为导致合同目的无法实现，构成根本违约，那么非违约方在解除合同的同时，有权要求违约方承担违约责任，包括可能的不退还保证金（如果保证金与违约责任相关且合同有约定或法律规定支持）。

2. 非根本违约：如果违约行为并未导致合同目的无法实现，不构成根本违约，那么非违约方虽然有权解除合同，但可能无权直接主张不退还保证金，除非合同有特别约定或法律规定支持。

四、法律规定与司法实践

1. 法律规定：根据《中华人民共和国民法典》等相关法律法规，合同解除后，尚未履行的，终止履行；已经履行的，根据履行情况和合同性质，当事人可以请求恢复原状或者采取其他补救措施，并有权请求赔偿损失。对于保证金的处理，如果合同没有约定或约定不明确，应依据法律规定和合同目的、交易习惯等来确定。

2. 司法实践：在司法实践中，法院会综合考虑合同内容、违约情形、保证金性质与目的等因素，来判定保证金是否退还。因此，即使合同未明确约定违约时不退还保证金，法院也可能根据具体情况作出不予退还的判决（如果符合法律规定和合同目的）。

五、建议与措施

1. 审查合同条款：首先，应仔细审查合同条款，特别是关于保证金和违约责任的部分，以确定是否有明确约定。

2. 协商与调解：如果合同未明确约定或约定不明确，建议双方先尝试通过协商或调解来解决争议，以达成互利共赢的解决方案。

3. 寻求法律救济：如果协商或调解无果，非违约方可以考虑通过法律途径来维护自己的权益，包括起诉要求违约方承担违约责任（可能包括不退还保证金）或要求退还保证金等。

最后，由于每个案件的具体情况都有所不同，因此无法一概而论地判断保证金是否需要退还。如果您面临此类问题，建议直接向我咨询，以便根据您的具体情况提供更详细的法律建议。