在招标投标活动中，关于投标保证金的退还时间，这是一个涉及法律法规明确规定的重要环节。针对您的问题，“招标人最迟应在书面合同上签订几日内向中标人退还投标保证金”，以下是我为您提供的详细解答：

一、投标保证金退还的基本规定

根据《中华人民共和国招标投标法实施条例》第五十七条第二款的规定，招标人最迟应当在书面合同签订后5日内，向中标人和未中标的投标人退还投标保证金及银行同期存款利息。这一规定是法定的，具有强制性，旨在保障投标人的合法权益，确保招标投标的公平、公正进行。

二、退还时间的具体解释

1. 时间节点：这里的“5日内”指的是从书面合同签订之日起算，至第5个工作日结束时为止。招标人必须在这个时间范围内完成投标保证金的退还工作。

2. 退还对象：不仅中标人的投标保证金需要退还，未中标的投标人的投标保证金也同样需要在合同签订后5日内退还。

3. 利息计算：招标人在退还投标保证金时，还需要一并支付自投标截止时间至退还之日止的银行同期存款利息。这是为了补偿投标人因资金被占用而产生的损失。

三、特殊情况的处理

• 如果招标文件中或合同中有特别约定，且该约定不违反法律法规的强制性规定，那么可以按照约定执行。但通常情况下，应以法定时间为准。
• 若投标人在投标阶段存在违反承诺的行为，如中标后无正当理由不与招标人订立合同等，招标人有权按照招标文件的规定不予退还其投标保证金。这是为了维护招标活动的严肃性和诚信原则。

四、实际操作建议

• 作为投标人，在参与投标前，应仔细阅读招标文件中的相关条款，特别是关于投标保证金退还的部分，确保自己了解并同意其中的规定。
• 在合同签订后，投标人应及时与招标人沟通，确认投标保证金的退还进度，并保留好相关证据（如合同、付款凭证等），以便在需要时通过法律途径维护自身权益。

综上所述，招标人最迟应在书面合同签订后5日内向中标人退还投标保证金及银行同期存款利息。这是法律法规的明确规定，也是保障投标人合法权益的重要措施。希望我的解答能够对您有所帮助。