投标保证金的退还时间主要依据是否中标以及招标文件的具体规定来确定，同时需遵循相关法律法规的要求。以下是对这一问题的详细解答：
一、未中标人的投标保证金退还时间
一般情况：
- 根据《中华人民共和国招标投标法实施条例》及相关规定，招标人最迟应当在书面合同签订后5日内，向未中标的投标人退还投标保证金及银行同期存款利息。这一规定确保了未中标人的资金能够及时回笼，减少不必要的资金占用。
特殊情况：
- 若招标文件对投标保证金退还时间有更为具体的约定，并且该约定不违反法律法规的强制性规定，则应按照招标文件中的约定执行。例如，招标文件可能规定在中标结果公示结束后一定时间内退还保证金。
二、中标人的投标保证金退还时间
一般情况：
- 中标人的投标保证金通常在签订合同后自动转为履约保证金的一部分，或者在合同约定的其他条件下退还。若招标文件另有规定，如要求在中标通知书发出后一定时间内（如30天）签订合同并退还保证金，则按此执行。
特殊情况：
- 如果中标人拒绝签订合同或未能按要求提交履约保证金等相关文件，招标人有权不退还投标保证金，以此作为对中标人违约行为的惩罚。
三、特殊情况下的投标保证金退还
项目终止或流标：
- 如果招标项目因故终止或流标，招标人应及时退还所有投标人的投标保证金及利息。此时，退还时间通常在终止招标通知发出后的数日内完成，以确保投标人的资金不受损失。
投标人撤回投标文件：
- 在投标截止时间前撤回已提交的投标文件的，招标人应自收到投标人书面撤回通知之日起5日内退还投标保证金。这体现了对投标人撤回投标权利的尊重。
投标被否决：
- 若投标被否决，招标人应在否决投标决定作出后尽快（通常不超过5个工作日）退还投标保证金。这有助于维护投标人的合法权益，避免不必要的资金占用。
四、法律建议与注意事项
明确约定：
- 招标文件中应明确约定投标保证金的退还时间及相关条件，以避免后续产生不必要的纠纷。投标人在提交投标保证金前，应仔细阅读并理解招标文件中的相关规定。
遵守约定：
- 双方都应严格遵守招标文件中的约定，确保投标保证金的退还流程顺畅进行。招标人应按时退还保证金，投标人则应按要求提交相关文件和资料。
法律维权：
- 如招标方未按约定时间退还投标保证金，投标人可通过法律途径维护自己的合法权益，包括但不限于提起诉讼或申请仲裁等。在维权过程中，投标人应保留好缴纳投标保证金的凭证和退还申请的记录等证据材料。
关注退还时限：
- 投标人应密切关注退还时限，确保在规定的时间内完成相关手续。如超过规定时间仍未收到退还的投标保证金，投标人可主动联系招标人或招标代理机构查询原因，并通过合法途径维护自身权益。
综上所述，投标保证金的退还时间需根据具体情况来确定，并应明确约定在招标文件中。双方应严格遵守约定，确保投标保证金的退还流程合法、合规、顺利进行。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。