在双方都违约的情况下，违约金是否会退还并不是一个简单的是非问题，而是需要根据具体的情形来判断。
首先看合同约定：合同是双方自愿达成的约定，其中往往会包含关于违约时违约金如何处理的条款。如果合同中有明确的规定，那么就应当按照合同的要求来执行，这是处理违约金问题的首要依据。
双方违约不必然导致违约金退还：即使双方都存在违约情况，也并不意味着违约金就一定会退回。如果其中一方的违约行为给另一方带来了损失，那么违约的那一方仍然需要承担相应的违约责任，这种情况下违约金通常不会退还。
特殊情况下的调整或退回：然而，也存在一些特殊情况。比如，双方的违约行为在某种程度上相互抵销，导致合同原本的目的已经无法达成。在这种情况下，可能就需要对违约金进行调整或者退回。但这需要双方协商一致，或者通过诉讼途径由法院根据具体情况进行判定。
法院判定的考量因素：如果双方无法就违约金是否退回达成一致，那么可以通过诉讼来解决。法院在判定时会综合考虑多方面的因素，包括双方违约的具体情形、各自的过错程度以及造成的损失大小等，最终确定违约金是否应该退回以及如何处理。
综上所述，双方都违约时违约金是否会退还并没有固定的答案，而是需要根据合同约定、双方违约的具体情况以及法院的判断来综合决定。如果你在这方面遇到了问题，可以直接向我咨询，我会根据你的具体情况给出更详细的法律建议。