投标保证金并非在所有情况下都是5日内退还，其退还时间主要依据招标进展和投标情况而定。以下是对此问题的详细分析：

一、正常情况下的退还时间

1. 未中标情况：

   • 根据《工程建设项目施工招标投标办法》第六十三条的规定，招标人最迟应当在与中标人签订合同后五日内，向中标人和未中标的投标人退还投标保证金及银行同期存款利息。

2. 中标情况：

   • 中标人在签订合同并履行相关义务后，其投标保证金同样会在合同签订后五日内退还（若招标文件或合同中有特别约定，则按约定执行）。但需注意，如果中标人在规定期限内未能签订合同或提交履约保证金，招标人有权不退还其投标保证金。

二、特殊情况下的退还时间

1. 投标截止前撤回投标文件：

   • 如果投标人在投标截止前撤回已提交的投标文件，其投标保证金应退还。但退还时间并非固定为5日，而是招标人应自收到书面撤回通知之日起5日内退还。

2. 招标人终止招标：

   • 如果招标人终止招标，应当及时退还所收取的投标保证金及银行同期存款利息。此时，退还时间取决于招标人发布终止招标公告或通知潜在投标人的时间。

3. 投标人违规情况：

   • 如果投标人在投标有效期内撤回投标文件，或者中标人在规定期限内未能签订合同、提交履约保证金等，招标人有权不退还其投标保证金。

三、法律后果与建议

• 法律后果：如果招标人未按规定时间退还投标保证金，除应退还本金和利息外，还可能承担赔偿投标人损失的责任。对于依法必须进行招标的项目，招标人不按规定退还投标保证金及利息的，有关行政监督部门会责令改正，并可处罚款；给投标人造成损失的，应依法承担赔偿责任。
• 建议：作为投标人，在参与招标活动时，应仔细阅读招标文件，了解投标保证金的缴纳和退还规定。同时，保留好相关证据，如投标文件、撤回通知、合同等，以便在需要时维护自己的合法权益。如果遇到招标人不按时退还保证金的情况，可以及时向行政监督部门投诉或寻求法律援助。

综上所述，投标保证金的退还时间并非固定为5日，而是根据招标进展和投标情况而定。因此，在参与招标活动时，务必了解并遵守相关规定，以维护自己的合法权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。