投标保证金的退还时间需根据是否中标以及特殊情况来具体确定，且应明确约定在招标文件中。以下是对这一问题的详细分析：
一、未中标人的投标保证金退还时间
一般情况：
- 根据《中华人民共和国招标投标法实施条例》第五十七条第二款的规定，招标人最迟应当在书面合同签订后5日内向未中标的投标人退还投标保证金及银行同期存款利息。这一规定确保了未中标人的资金能够及时回笼，减少不必要的资金占用成本。
实际操作中的常见做法：
- 在实际操作中，许多招标文件会约定在中标通知书发出后的5个工作日内退还未中标人的投标保证金。这样的约定有助于加快资金流转，提高招投标效率。
二、中标人的投标保证金退还时间
一般情况：
- 同样根据《中华人民共和国招标投标法实施条例》第五十七条第二款的规定，招标人最迟应当在书面合同签订后5日内向中标人退还投标保证金及银行同期存款利息。但中标人的投标保证金有时可能转为履约保证金的一部分，具体需根据招标文件和合同约定来确定。
特殊情况：
- 如果招标文件对投标保证金退还时间有更为具体的约定，并且该约定不违反法律法规的强制性规定，则应按照招标文件中的约定执行。例如，有些招标文件可能规定在中标人提交履约保证金后的一定时间内退还投标保证金。
三、特殊情况下的投标保证金退还
招标人终止招标：
- 若招标人决定终止招标，应及时发布公告或以书面形式通知潜在投标人，并尽快退还已收取的资格预审文件、招标文件的费用以及投标保证金及银行同期存款利息。虽然“及时”并未明确具体时间，但实践中应理解为合理的较短时间，以确保投标人的资金不受损失。
投标截止后撤销投标：
- 若投标人在投标截止后撤销投标文件，则视为违反投标的相关约定，招标人有权不予退还投标保证金。这种情况下，投标人需自行承担因撤销投标而产生的后果。
质疑或投诉事项：
- 如果出现质疑或投诉事项，且这些事项可能影响中标结果，保证金退还时间可能会相应延长，直至相关问题解决。这是为了确保招投标过程的公正性和透明度。
四、法律建议
明确约定：
- 招标文件中应明确约定投标保证金的退还时间及相关条件，以避免后续产生不必要的纠纷。投标人在参与招投标前，应仔细阅读招标文件，了解投标保证金的退还规定。
遵守约定：
- 双方都应严格遵守招标文件中的约定，确保投标保证金的退还流程顺畅进行。如果招标方未按约定时间退还投标保证金，投标人可通过法律途径维护自己的合法权益。
仔细阅读与咨询：
- 投标人在提交投标保证金前，应仔细阅读并理解招标文件中的相关规定。如有任何疑问或不确定之处，应及时向招标方咨询或寻求专业法律意见。
举例说明：假设一个招投标项目在9月1日确定中标人并签订合同，那么根据法规规定，招标人最迟应在9月6日前向中标人和未中标的投标人退还投标保证金及银行同期存款利息。如果招标文件中有更具体的约定，如签订合同后3日内退还，则应按照招标文件中的约定执行。
综上所述，投标保证金的退还时间需根据具体情况来确定，并应明确约定在招标文件中。双方应严格遵守约定，确保投标保证金的退还流程合法、合规、顺利进行。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。