招标人扣留投标保证金后，应按照法律规定和招标文件约定处理，核心处理方式包括退还剩余部分（如有）、上缴财政（如属必须）或承担法律责任（如违法扣留），具体分情况说明如下：

1. 若投标人无违约行为，招标人应全额退还保证金

根据《招标投标法实施条例》第26条，招标人最迟应在书面合同签订后5日内退还投标保证金及银行同期存款利息。若招标人无正当理由扣留保证金，属于违法行为，投标人可要求退还并主张利息损失，甚至通过行政投诉（向当地招投标监管部门）或民事诉讼维权。

2. 若投标人存在违约行为，招标人可按约定扣留部分或全部保证金

根据《招标投标法》第60条及招标文件约定，若投标人出现以下情形，招标人有权扣留保证金：

• 中标后无正当理由拒签合同：招标人可扣留全部保证金，并要求赔偿超出部分的损失；
  
• 投标截止后撤销投标文件：招标人可扣留保证金作为违约补偿；
  
• 招标文件明确的其他违约情形（如提供虚假材料、串通投标等）：招标人可按约定比例或金额扣留。
  

注意：招标人扣留保证金需满足两个条件：

• 招标文件已明确约定扣留情形及比例；
  
• 扣留金额不得超过招标项目估算价的2%（政府采购项目为1%）。
  

3. 政府采购项目中，保证金需上缴国库

若项目属于政府采购（使用财政性资金），根据《政府采购法实施条例》第33条，招标人扣留的保证金应上缴本级国库，而非自行留存。若招标人违规使用保证金，财政部门可责令改正并处罚款。

4. 招标人违法扣留保证金的法律责任

若招标人存在以下行为，需承担法律责任：

• 未按规定退还保证金：由行政监督部门责令改正，可处5万元以下罚款；
  
• 超比例扣留或挪用保证金：可能涉嫌滥用职权或贪污，需承担刑事责任；
  
• 未在招标文件中明确扣留规则：扣留行为无效，需全额退还并赔偿投标人损失。
  

建议：若您作为投标人遇到保证金被扣留的情况，可先核对招标文件约定及自身行为是否违约；若认为招标人处理不当，可收集证据（如招标文件、投标文件、沟通记录等）向当地招投标监管部门投诉，或直接向法院起诉。如有具体细节需要分析，欢迎随时向我咨询。