在供方违约且你方不退回保证金的情形下，开票问题需分情况处理，核心结论如下：

1. 若保证金属于定金性质且合同有明确约定
   根据《民法典》第五百八十七条，若合同明确约定保证金为“定金”且供方违约，你方有权没收定金。此时，无需向供方开具任何发票，因为定金罚则下的没收行为不属于增值税应税行为，不涉及增值税纳税义务。但需注意：

   • 合同中必须明确约定“定金”字样（如“乙方支付定金XX元，若违约则甲方有权没收”），否则可能被认定为“预付款”或“违约金”，税务处理方式不同。
     
   • 若供方要求开具发票，可书面回复其违约事实及定金没收依据，并留存沟通记录作为证据。

2. 若保证金属于违约金性质且合同有明确约定
   若合同未约定定金，但约定“供方违约需支付违约金XX元，该违约金从保证金中扣除”，则需分两步处理：

   • 第一步：扣除违约金部分：根据《增值税暂行条例》第六条，违约金若与销售货物、劳务等主合同直接相关，且供方已实际违约，你方收取的违约金属于“价外费用”，需按主合同税率（如13%增值税）开具发票。例如，主合同为货物销售，则违约金需开具13%的增值税专用发票或普通发票。
     
   • 第二步：剩余保证金退还：若扣除违约金后仍有剩余保证金需退还，你方需向供方开具红字发票（若原保证金已开具发票）或书面说明退还金额（若未开具发票），避免供方重复抵扣进项税。

3. 若合同未明确约定保证金性质或违约条款
   此时需结合交易实质判断：

   • 若保证金实际为“预付款”性质（如供方未违约时抵作货款），则你方没收保证金的行为可能被税务机关认定为“销售货物未退款”，需按主合同税率开具发票。
     
   • 若保证金与主合同无关（如单纯保证履约），则可能被认定为“营业外收入”，需按6%税率开具增值税普通发票（若你方为一般纳税人且提供应税服务）。
     建议：立即补充合同条款或与供方协商，通过书面协议明确保证金性质及违约处理方式，避免税务风险。

关键风险提示：

• 税务机关可能通过合同、资金流、业务实质三要素判定开票义务，务必确保合同条款与实际操作一致。
  
• 若供方为小规模纳税人或境外企业，开票规则可能不同，需进一步核实对方纳税人身份。
  
• 建议在操作前与主管税务机关沟通，避免因政策理解偏差导致补税、罚款等后果。
  

如有具体合同条款或交易细节需进一步分析，可直接向我提供材料，我将结合实务经验为你制定合规方案。