不可以直接以不交招标代理费为由不退投标保证金，二者分属不同法律关系，是否退还保证金需依据法定或约定情形判断。以下从法律关系、法定情形、约定情形三个角度展开分析：

1. 法律关系独立：招标代理费与投标保证金无必然关联

招标代理费是招标人委托代理机构组织招标活动时，应向代理机构支付的服务费用，属于委托合同关系的范畴；而投标保证金是投标人向招标人提交的，用于保证其履行投标义务（如不随意撤标、按约签约等）的担保，属于招标投标法律关系的范畴。
根据《民法典》及《招标投标法》的规定，两种费用的性质、支付对象、法律基础均不同，招标人不得因投标人未支付代理费而扣留保证金，否则可能构成对保证金的非法占有。

2. 法定退还情形：保证金退还需符合法律明确规定

根据《招标投标法实施条例》第57条，招标人最迟应当在书面合同签订后5日内，向中标人和未中标的投标人退还投标保证金及银行同期存款利息。
退还保证金的核心条件是“投标人是否履行了投标阶段的法定义务”，例如：

• 投标人在投标截止时间前撤回投标文件（此时保证金可没收）；
  
• 投标人中标后无正当理由不与招标人签订合同（此时保证金可没收）；
  
• 投标人未存在其他违法行为（如串标、弄虚作假等）。
  若投标人已履行义务（如正常参与投标、未中标），招标人必须退还保证金，与是否支付代理费无关。

3. 约定退还情形：需以招标文件或合同明确约定为前提

若招标文件或招标人与投标人签订的合同中明确约定“投标人未支付招标代理费时，招标人有权扣留保证金”，则可能构成双方对保证金退还条件的特别约定。
但需注意：

• 约定不得违反法律强制性规定。例如，若约定“无论投标人是否违约，保证金均不退还”，则因排除投标人主要权利而无效；
  
• 约定需明确具体。若仅笼统约定“与代理费相关”，而未明确扣留保证金的条件、金额、程序等，可能因约定不明被认定为无效。
  实践中，此类约定因易引发争议，较少被采用。

实务建议

1. 对招标人：若投标人未支付代理费，应通过协商、催告或诉讼等合法途径追讨，而非扣留保证金；
   
2. 对投标人：若招标人以未交代理费为由拒退保证金，可要求招标人出具书面依据，并依据《招标投标法》第57条主张权利；
   
3. 预防措施：招标人可在招标文件中明确代理费的支付主体（如由招标人承担或明确由中标人分摊）、支付时间及违约责任，避免与保证金混同。

如有具体纠纷，可进一步提供招标文件、合同等材料，我将结合细节为您分析。