投标保证金退还的责任归属，主要取决于招标文件的规定以及投标过程中是否存在违约或违规行为，一般而言，若招标流程正常且无违约情况，招标人应负责退还投标保证金。以下从不同角度进行详细分析：
招标文件规定：
- 招标文件是招标活动的法律依据，其中会明确规定投标保证金的退还条件、时间和方式。
- 如果招标文件规定在特定条件下（如投标有效期届满、招标活动结束且未中标等）招标人应退还投标保证金，那么招标人就有义务按照这些规定执行。
投标过程无违约或违规行为：
- 如果投标人在投标过程中没有违反招标文件的规定，也没有其他违约或违规行为，那么招标人应当退还投标保证金。
- 例如，投标人按时提交了投标文件，且投标文件符合招标文件的要求，没有提供虚假材料或串通投标等行为。
存在违约或违规行为：
- 如果投标人在投标过程中存在违约或违规行为，如未按时提交投标文件、提供虚假材料、串通投标等，招标人可能根据招标文件的规定不予退还投标保证金。
- 在这种情况下，投标保证金可能被视为对招标人因投标人违约或违规行为而遭受的损失的赔偿。
特殊情况下的责任归属：
- 如果招标活动因故取消或终止，招标人通常也应退还已收取的投标保证金。
- 另外，如果招标人未按照招标文件的规定退还投标保证金，投标人可以通过法律途径维护自己的权益，如向招标人提出书面异议、向相关监管部门投诉或提起诉讼等。
法律建议：
- 对于投标人而言，在参与招标活动前，应仔细阅读招标文件，了解投标保证金的退还规定，并确保自己的投标行为符合招标文件的要求，以避免因违约或违规行为而导致投标保证金不予退还。
- 对于招标人而言，应严格按照招标文件的规定退还投标保证金，避免因违规操作而引发法律纠纷。如果确实存在不予退还的情形，也应在招标文件中明确规定，并在实际操作中保持透明和公正。
可能的法律后果：
- 如果招标人未按照招标文件的规定退还投标保证金，投标人可以要求招标人承担违约责任，并可能通过法律途径获得赔偿。
- 如果投标人存在违约或违规行为导致投标保证金不予退还，投标人应接受这一后果，并可能面临其他法律责任，如被列入不良行为记录名单等。
如有任何关于投标保证金退还或其他合同纠纷方面的疑问，可以直接向我咨询。