未中标单位的保证金，招标人最迟应当在书面合同签订后5日内退还，同时退还银行同期存款利息。不过，具体退还时间还可能受到多种因素的影响，以下从不同角度为您详细分析：

一、一般规定下的退还时间

根据《中华人民共和国招标投标法实施条例》第五十七条第二款，招标人最迟应当在书面合同签订后5日内向中标人和未中标的投标人退还投标保证金及银行同期存款利息。这是法规明确规定的退还时间框架，实际操作中，这一时间点往往与中标通知书发出后相关联，通常在中标通知书发出后的5个工作日内开始办理退还手续。例如，若某工程项目在2024年1月10日完成书面合同签订，则招标人最迟应在2024年1月15日前退还未中标投标人的保证金及利息。

二、特殊情况下的退还时间

1. 异议或投诉处理：若投标人对评标结果等提出异议或投诉，根据《工程建设项目招标投标活动投诉处理办法》，在投诉处理期间（一般为受理投诉之日起30个工作日内），投标保证金的退还可能会暂缓，待处理决定作出后再行退还。
2. 招标文件约定：招标文件中如明确规定了未中标投标保证金的具体退还时间，应遵循该约定执行，只要其不违反法律法规的强制性规定。例如，招标文件可能规定，在中标通知书发出后10个工作日内退还未中标单位的保证金，那么就应按照这一约定执行。
3. 不可抗力：因不可抗力等非投标人原因导致招标活动无法正常进行时，退还时间可顺延至影响消除且招标活动能够正常进行之后。比如，因自然灾害导致招标活动暂停，那么保证金的退还时间就可能相应顺延。

三、不予退还保证金的情形

虽然未中标的投标人通常有权要求退还投标保证金，但也存在一些不予退还的情形，主要包括：

1. 投标截止后撤销投标文件：无正当理由在投标截止后撤销投标文件，可能影响招标活动正常进行，导致保证金不予退还。
2. 中标后放弃中标项目：中标后无正当理由放弃项目，增加招标成本和时间成本，保证金通常不予退还。
3. 串通投标或弄虚作假：严重违反招投标法律法规的行为，如串通投标、以他人名义投标或弄虚作假骗取中标，保证金将被没收。

四、退还流程与注意事项

1. 退还流程：招标人应按照招标文件或相关法律法规规定的程序，将投标保证金及其银行同期存款利息退还至投标人指定的账户。这一过程应确保及时、透明，以保障投标人的合法权益。
2. 注意事项：未中标的投标人应关注招标文件中的保证金退还条款，确保自己的权益得到保障。同时，在参与投标时，应认真阅读并遵守相关规定，避免因违规行为导致保证金被扣除。

在实际操作中，如果遇到保证金退还问题，建议未中标的单位及时与招标人沟通，了解具体退还时间和原因。如果认为自身权益受到侵害，也可以依据相关法律法规和招标文件规定，通过合法途径维护自己的权益。如有任何疑问或需要进一步的法律帮助，请随时向我咨询。