投标保证金在被认定无效时，通常应当退还给投标人，但具体是否退还还需根据无效投标的具体原因以及招标文件中的相关规定来确定。以下是对此问题的详细分析：
一、一般情况下的退还原则
基本规定：
- 根据《中华人民共和国招标投标法实施条例》的相关规定，投标人撤回已提交的投标文件，或在投标截止时间前书面通知招标人撤回的，招标人应自收到通知之日起5日内退还投标保证金及银行同期存款利息。
- 对于无效投标，若未涉及严重违规或欺诈行为，保证金通常也会退还。这是因为投标保证金的主要目的是确保投标人在投标过程中的诚信和履约能力，而非作为惩罚手段。
退还流程：
- 招标人应在确定投标无效后，按照招标文件规定的程序和时间节点，及时将保证金退还给投标方。这通常包括投标方提供相关证明文件、填写退还申请表格、招标单位审核申请材料等步骤。
二、不退还保证金的情形
严重违规行为：
- 如果投标方的无效投标是由于串通投标、弄虚作假等严重违规行为导致的，招标人有权没收其投标保证金。这些行为违反了招标投标的公平、公正原则，损害了其他投标人的合法权益，因此招标人有权采取惩罚措施。
招标文件约定：
- 招标文件中可能明确规定了某些特定情况下不退还保证金，如投标方在投标过程中存在欺诈、胁迫等行为。在此情况下，即使投标被认定为无效，保证金也可能不予退还。这体现了招标文件的约束力和双方的意思自治原则。
投标截止后撤销投标文件：
- 根据《中华人民共和国招标投标法实施条例》第三十五条，投标截止后投标人撤销投标文件的，招标人可以不退还投标保证金。这是因为投标截止后，招标人已经基于投标人的投标文件进行了后续工作，如评标、定标等，投标人撤销投标文件会给招标人带来损失。
三、特殊情况的处理
不可抗力因素：
- 因不可抗力导致投标无效的，招标人应根据实际情况决定是否退还保证金。例如，自然灾害、政府政策调整等不可抗力因素可能导致投标无法继续进行，此时招标人可能会考虑退还保证金以体现公平和合理。
争议解决：
- 若投标方对保证金退还事宜存在异议，可依法向招标人提出书面申诉或寻求法律途径解决。在争议解决过程中，双方应本着公平、公正的原则进行协商和处理，必要时可以寻求第三方调解或仲裁。
四、建议与总结
对于投标人：
- 在参与投标前，应仔细阅读招标文件，了解投标保证金的退还条件和程序。
- 确保投标文件的真实性和合法性，避免因违规行为导致保证金被没收。
- 如遇保证金退还问题，及时与招标人沟通协商，必要时寻求法律帮助。
对于招标人：
- 在制定招标文件时，应明确投标保证金的退还条件和程序，确保公平公正。
- 在处理保证金退还问题时，应严格按照招标文件和相关法律法规执行，避免引发争议。
综上所述，投标保证金在被认定无效时是否退还，需根据无效投标的具体原因以及招标文件中的相关规定来确定。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。