合同无效时，保证金通常是可以退回的，但具体退还金额和方式可能受多种因素影响。以下是对此问题的详细分析：
一、法律依据
根据《中华人民共和国民法典》第一百五十七条的规定，民事法律行为无效、被撤销或者确定不发生效力后，行为人因该行为取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方由此所受到的损失；各方都有过错的，应当各自承担相应的责任。这一规定为保证金退还提供了明确的法律依据。
二、保证金退还的原则与考量因素
双方约定优先：
- 如果合同双方在合同中或合同外对保证金的处理有明确且合法的协议，应首先按照双方的协议进行处理。例如，合同中可能明确规定了合同无效时保证金的退还方式和金额，此时应遵循该约定。
公平原则：
- 在无明确约定时，依据公平原则，收取保证金的一方应当将其退还给支付方。合同无效意味着双方基于该合同的权利义务关系自始不存在，因此，收取保证金失去了合法依据，应当予以退还。
过错责任：
- 如果合同无效是由一方或双方的过错导致的，那么过错方应承担相应的责任。这可能会影响保证金的退还金额。例如，如果因支付方过错导致合同无效，且该过错与保证金支付有直接关系，那么支付方可能需承担部分或全部损失，从而影响保证金的退还金额。反之，如果因收取方过错导致合同无效，则收取方不仅需退还保证金，还可能需赔偿支付方因此遭受的其他损失。
司法实践中的考量因素：
- 法院在确定保证金的返还金额与方式时，会综合考虑合同无效的原因、双方的过失程度以及保证金的性质及实际用途等因素。例如，如果保证金在合同履行过程中已被部分使用或产生了孳息（如利息），那么法院可能会根据实际情况调整退还金额。
三、具体操作方式
协商退还：
- 双方可以就保证金的退还金额和方式进行协商，并签署退还协议，以明确双方的权利和义务。这种方式有助于减少不必要的法律纠纷和成本，是首选的解决方式。
诉讼解决：
- 如果协商不成，支付方可以收集相关证据（如合同文本、交易记录、沟通记录等），向法院提起诉讼，要求判决退还保证金。在诉讼过程中，支付方需要确保有足够的证据证明合同无效以及自己支付了保证金，并注意遵守相关的诉讼时效规定。
四、注意事项
证据收集与保存：
- 支付方在要求退还保证金时，应确保有充分的证据证明合同无效、自己支付了保证金以及保证金的具体金额等关键事实。这些证据对于维护自身权益至关重要。
及时行使权利：
- 支付方应注意遵守相关的诉讼时效规定，以免因超过时效而丧失胜诉权。一般来说，诉讼时效期间为三年，自知道或者应当知道权利被侵害时起计算。
考虑孳息问题：
- 如果保证金在存放期间产生了孳息（如利息），那么孳息的归属问题也需要根据具体情况进行协商或诉讼解决。一般来说，孳息应随本金一并退还，但具体处理方式可能因合同约定或法院判决而有所不同。
举例说明：
假设甲与乙签订了一份买卖合同，并支付了10万元作为保证金。后来，因合同存在违法情形被认定为无效。此时，甲有权要求乙退还保证金。如果双方对退还金额和方式无争议，可以签署退还协议并履行。如果协商不成，甲可以收集相关证据向法院提起诉讼。在诉讼过程中，法院会综合考虑合同无效的原因、双方的过失程度以及保证金的性质及实际用途等因素来确定退还金额和方式。
综上所述，合同无效时保证金通常是可以退回的，但具体退还金额和方式需根据双方约定、公平原则、过错责任以及司法实践中的考量因素来确定。在实际操作中，双方应尽可能通过协商解决问题，如协商不成，则可依法向法院提起诉讼以维护自身权益。如果您有具体的法律问题或需要进一步的法律帮助，请直接向我咨询。