针对您提出的“双方都违约时，履约保证金怎么退”的问题，这确实是一个涉及合同细节和法律条款的复杂情况。下面，我将结合合同法的相关规定和实际操作流程，为您详细解答。

首先，我们要明确的是，履约保证金的退还主要依据的是合同中的具体约定。在合同中，通常会明确规定保证金的退还条件、时间、方式以及金额等关键信息。因此，当双方都出现违约行为时，我们需要首先回顾合同中的相关条款，看是否有针对这种情况的具体规定。

1. 合同有明确约定：

   • 如果合同中明确规定了双方违约时保证金的退还方式，比如按照各自违约的比例来扣除保证金，或者规定在双方都有违约的情况下保证金不予退还等，那么双方应当严格按照合同约定来执行。

2. 合同无明确约定：

   • 如果合同中没有针对双方都违约的情况作出明确规定，那么就需要根据双方违约的性质、程度以及造成的后果来综合判定各自的责任比例。
   • 在这种情况下，通常建议双方先进行协商，尝试达成一个双方都能接受的保证金退还方案。协商时，可以考虑各自违约的严重性、对合同履行的影响以及因此造成的损失等因素。
   • 如果协商不成，双方可以寻求第三方调解，比如请律师或者专业的调解机构介入，帮助双方达成一个公平合理的解决方案。
   • 如果调解仍然无法达成一致，那么双方可能需要通过法律途径来解决争议，比如提起诉讼或者申请仲裁。

3. 退还流程：

   • 无论合同是否有明确约定，一旦双方就保证金的退还问题达成一致，就需要按照约定的方式来执行退还流程。
   • 通常，退还流程会包括违约情形的确认、责任比例的判定、退还金额的计算以及退还方式的确定等步骤。
   • 在退还过程中，双方需要提供必要的资料，如身份证明、合同文本、违约证明等，以便核对和确认退还事宜。
   • 最后，按照约定的方式（如银行转账、支票等）将保证金退还给对方。

4. 注意事项：

   • 在整个过程中，双方都需要严格遵守合同约定和相关法律法规，确保保证金的退还合法、合规、合理。
   • 如果一方拒绝履行退还义务或者退还过程中存在争议，另一方有权通过法律途径来维护自己的合法权益。

综上所述，当双方都违约时，履约保证金的退还需要根据合同中的具体约定以及双方违约的性质、程度和后果来综合判定。建议双方先进行协商，尝试达成一个双方都能接受的解决方案；如果协商不成，可以寻求第三方调解或者通过法律途径来解决争议。在整个过程中，双方都需要严格遵守合同约定和相关法律法规，确保保证金的退还合法、合规、合理。