合同无效后，保证金通常是可以退回的，但具体退还金额和方式需根据实际情况及法律法规进行综合考量。以下是对此问题的详细分析：
一、法律依据与原理
根据《中华人民共和国民法典》第一百五十七条的规定，当民事法律行为（包括合同）无效、被撤销或者确定不发生效力后，行为人因该行为取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方由此所受到的损失；各方都有过错的，应当各自承担相应的责任。这一规定为保证金退还提供了明确的法律依据。
二、保证金退还的原则与考量因素
双方约定优先：
- 如果合同双方在合同中或合同外对保证金的处理有明确且合法的协议，应首先按照双方的协议进行处理。例如，合同中可能明确规定了合同无效时保证金的退还方式和金额，此时应遵循该约定。
公平原则：
- 在无明确约定时，依据公平原则，收取保证金的一方应当将其退还给支付方。这是因为合同无效意味着自始没有法律约束力，双方基于该合同的权利义务关系也不存在，因此收取的保证金失去了合法依据。
过错责任：
- 如果合同无效是由一方或双方的过错导致的，那么过错方应承担相应的责任。这可能会影响保证金的退还金额，即过错方可能需要因其过失而承担部分或全部损失。例如，如果因支付方故意隐瞒重要事实导致合同无效，且收取方因此遭受了损失，那么支付方在要求退还保证金时，可能需要承担一定的赔偿责任。
司法实践中的考量因素：
- 法院在确定保证金的返还金额与方式时，会综合考虑合同无效的原因、双方的过失程度以及保证金的性质及实际用途等因素。例如，如果保证金在合同履行过程中已被部分使用或产生了孳息（如利息），那么法院可能会根据实际情况调整退还金额。
三、具体操作方式
协商退还：
- 双方可以就保证金的退还金额和方式进行协商，并签署退还协议，以明确双方的权利和义务。这种方式具有灵活性和高效性，有助于快速解决纠纷。
诉讼解决：
- 如果协商不成，支付方可以收集相关证据，如合同文本、交易记录、沟通记录等，向法院提起诉讼，要求判决退还保证金。在诉讼过程中，支付方需要确保有足够的证据证明合同无效以及自己支付了保证金，并注意遵守相关的诉讼时效规定。
四、注意事项
证据收集与保存：
- 支付方在要求退还保证金时，应确保有充分的证据证明合同无效、自己支付了保证金以及保证金的具体金额等关键事实。这些证据将对于维护自身权益至关重要。
及时行使权利：
- 支付方应注意遵守相关的诉讼时效规定，以免因超过时效而丧失胜诉权。一般来说，诉讼时效期间为三年，自知道或者应当知道权利受到损害以及义务人之日起计算。
考虑孳息问题：
- 如果保证金在存放期间产生了孳息（如利息），那么孳息的归属问题也需要根据具体情况进行协商或诉讼解决。一般来说，孳息应随本金一并退还，但如果双方有特别约定或法律另有规定，则可能有所不同。
举例说明：
假设甲与乙签订了一份买卖合同，并支付了10万元作为保证金。后因合同存在违法情形被认定为无效。在此情况下，乙作为收取保证金的一方，应依法将10万元保证金返还给甲。如果双方对合同无效的过错存在争议，或保证金在存放期间产生了孳息，那么双方可以通过协商或诉讼方式确定责任并据此处理保证金退还及孳息归属问题。
综上所述，合同无效时保证金通常是可以退回的，但具体退还金额和方式需根据双方约定、公平原则、过错责任以及司法实践中的考量因素来确定。在实际操作中，双方应尽可能通过协商解决问题，如协商不成，则可依法向法院提起诉讼以维护自身权益。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。