投标保证金的退还主体并非一定是招标代理机构，而是由招标人决定。以下是对此问题的详细分析：
一、法律依据与常规操作
根据《中华人民共和国招标投标法》及其相关实施条例，以及实际操作中的惯例，投标保证金的收取与退还通常由招标人负责。招标人在招标文件中会明确投标保证金的提交方式、金额及退还条件。在投标结束后，无论是中标候选人还是非中标候选人，其投标保证金的退还流程一般均由招标人（或其委托的招标代理机构在招标人授权下）发起。但核心决定权在于招标人，招标代理机构仅是执行招标人的指令。
二、具体退还流程
非中标候选人：
- 中标候选人公示结束后（无异议），代理机构（若招标人自行组织招标，则为招标人）会通过电子招标投标交易平台在线勾选非中标候选人的投标保证金，并生成《投标保证金退还通知书》。
- 该通知书经签署电子印章后提交，交易中心在收到通知并进行符合性核验后，会自动按原账户原渠道退还投标人的投标保证金。
中标人：
- 中标人在线签订合同并上传至中心网站公开后，代理机构（或招标人）同样会通过电子招标投标交易平台在线勾选中标人的投标保证金，并生成《投标保证金退还通知书》。
- 后续流程与非中标候选人相同，交易中心在收到通知并进行符合性核验后，退还投标保证金。
三、特殊情况下的处理
- 投标人撤回投标文件：若投标人在投标截止时间前书面通知招标人撤回已提交的投标文件，且招标人已收取投标保证金的，招标人应当自收到书面撤回通知之日起5日内退还投标保证金。
- 投标人撤销投标文件：若投标截止后投标人撤销投标文件的，招标人可以不退还投标保证金。
- 投标文件未解密：因投标人原因造成投标文件未解密的，视为撤销其投标文件，招标人同样可以不退还投标保证金。
四、法律建议
- 明确招标文件条款：投标人在参与招标前，应仔细阅读招标文件，明确投标保证金的提交、退还条件及流程。
- 保留相关证据：投标人在提交投标保证金及后续沟通中，应保留好相关证据，如转账记录、书面通知等，以备不时之需。
- 及时沟通：若在投标保证金退还过程中遇到问题，投标人应及时与招标人或招标代理机构沟通，寻求解决方案。
如有任何关于投标保证金退还或其他合同纠纷、建设工程领域的法律问题，欢迎直接向我咨询。