投标违规保证金的退还时间需根据具体情况来确定，且应明确约定在招标文件中，以下分情况说明：

1. 未中标且无违规情况

   • 根据《中华人民共和国招标投标法实施条例》的相关规定，招标人最迟应当在书面合同签订后5日内向未中标的投标人退还投标保证金及银行同期存款利息。这是法规明确规定的退还时间框架，确保了未中标人的资金权益。

2. 中标且无违规情况

   • 对于中标的投标人，其投标保证金同样需要在书面合同签订后5日内退还，或者根据合同和招标文件的具体规定转化为履约保证金的一部分后再予退还。这体现了招投标活动的公平性和规范性。

3. 存在违规情况

   • 投标截止后撤销投标：若投标人在投标截止后撤销投标文件，则视为违反投标的相关约定，招标人有权不予退还投标保证金。这种情况下，投标人需自行承担因撤销投标而产生的后果。
   • 中标后违约：如果中标人无正当理由不与招标人订立合同、在签订合同时提出附加条件、不按照招标文件要求提交履约保证金等情形，招标人有权取消其中标资格，并且投标保证金将不予退还。这是对中标人违约行为的惩罚，也是维护招投标活动秩序的必要措施。

4. 特殊情况

   • 招标人终止招标：若招标人决定终止招标，应及时发布公告或以书面形式通知潜在投标人，并尽快退还已收取的资格预审文件、招标文件的费用以及投标保证金及银行同期存款利息。虽然“及时”并未明确具体时间，但实践中应理解为合理的较短时间，以确保投标人的资金不受损失。

法律建议：

• 明确约定：招标文件中应明确约定投标保证金的退还时间及相关条件，包括违规情况下的处理方式，以避免后续产生不必要的纠纷。
• 遵守约定：双方都应严格遵守招标文件中的约定，确保投标保证金的退还流程顺畅进行。如果招标方未按约定时间退还投标保证金，投标人可通过法律途径维护自己的合法权益。
• 仔细阅读：投标人在提交投标保证金前，应仔细阅读并理解招标文件中的相关规定，特别是关于投标保证金退还的条款，确保自身权益得到充分保障。

总结：投标保证金的退还时间受多种因素影响，包括是否中标、是否存在违规情况以及招标文件的特殊规定等。在处理相关事宜时，建议各方保持沟通顺畅，遵循法律法规和招标文件的约定，以确保招投标活动的顺利进行。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。