投标保证金的退还时间主要依据是否中标以及招标文件的具体规定来确定，同时需遵循相关法律法规的要求。以下是对这一问题的详细解答：
一、未中标人的投标保证金退还时间
一般情况：
- 根据《中华人民共和国招标投标法实施条例》及相关规定，招标人最迟应当在书面合同签订后5日内，向未中标的投标人退还投标保证金及银行同期存款利息。这一规定确保了未中标人的资金能够及时回笼，减少不必要的资金占用。
特殊情况：
- 如果招标文件对投标保证金的退还时间有更为具体的约定，并且该约定不违反法律法规的强制性规定，那么应按照招标文件中的约定执行。例如，招标文件可能规定在中标结果公示结束后的一定时间内退还保证金。
二、中标人的投标保证金退还时间
一般情况：
- 中标人的投标保证金通常在签订合同后自动转为履约保证金的一部分，用于确保中标人能够按照合同约定履行义务。如果招标文件没有特别规定，或者规定在合同签订后一定时间内退还（如合同签订后30天内），则招标人应按照约定退还保证金。
特殊情况：
- 若中标人拒绝签订合同或未能按要求提交履约保证金等相关文件，招标人有权不退还投标保证金，以此作为对中标人违约行为的惩罚。
三、特殊情况下的投标保证金退还
招标项目终止或流标：
- 如果招标项目因故终止或流标，招标人应及时退还所有投标人的投标保证金及利息。此时，退还时间通常在终止招标通知发出后的数日内完成，以确保投标人的资金不受损失。
投标人撤回投标文件：
- 在投标截止时间前撤回已提交的投标文件的，招标人应自收到投标人书面撤回通知之日起5日内退还投标保证金。这体现了对投标人撤回权利的尊重，并确保了投标人资金的及时回笼。
投标被否决：
- 若投标被否决，招标人应在否决投标决定作出后尽快（通常不超过5个工作日）退还投标保证金。这有助于维护投标人的合法权益，避免不必要的资金占用。
四、法律建议与注意事项
明确约定：
- 招标文件中应明确约定投标保证金的退还时间及相关条件，以避免后续产生不必要的纠纷。投标人在提交投标保证金前，应仔细阅读并理解招标文件中的相关规定。
遵守约定：
- 双方都应严格遵守招标文件中的约定，确保投标保证金的退还流程顺畅进行。如果招标方未按约定时间退还投标保证金，投标人可通过法律途径维护自己的合法权益。
保留凭证：
- 投标人应保留好缴纳投标保证金的凭证和退还申请的记录，以备不时之需。这些凭证和记录在后续维权过程中可能起到关键作用。
及时沟通：
- 如果投标人超过规定时间仍未收到退还的投标保证金，应主动联系招标人或招标代理机构查询原因，并通过合法途径维护自身权益。
总结来说，投标保证金的退还时间需根据具体情况来确定，并应明确约定在招标文件中。双方应严格遵守约定，确保投标保证金的退还流程合法、合规、顺利进行。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。