保证金支付方违约时，对方是否可以不退保证金，需分情况讨论，具体如下：

1. 合同有明确约定
   若双方签订的合同中明确约定了“支付方违约时，保证金不予退还”或类似条款，且该条款不违反法律强制性规定（如不构成显失公平、欺诈、胁迫等），则对方有权依据合同约定不退还保证金。此时，支付方需承担违约责任，保证金作为违约赔偿的一部分被对方没收。

2. 合同无明确约定或约定无效

   • 无约定时：若合同未对违约时保证金的处理作出约定，对方无权直接扣留保证金。此时，支付方违约后，对方应退还保证金，但可另行主张违约赔偿（如实际损失、预期利益损失等）。
     
   • 约定无效时：若合同中的保证金条款因违反法律（如格式条款排除对方主要权利、违约金过高显失公平等）被认定无效，对方同样需退还保证金，违约赔偿需通过法定方式计算。

3. 保证金性质影响处理结果

   • 定金性质：若保证金被明确约定为“定金”（如合同中写明“定金”字样且符合定金规则），根据《民法典》第587条，支付方违约时，对方有权没收定金；若对方违约，则需双倍返还定金。
     
   • 履约保证金性质：若保证金仅为担保合同履行，不具有定金性质，则对方无权因支付方违约直接扣留，需退还或通过诉讼主张赔偿。

应对建议：

• 支付方：若认为对方不退保证金不合理，可先核查合同条款及保证金性质，若对方行为无合同或法律依据，可发送律师函要求退还，或直接起诉主张返还及利息。
  
• 对方：若支付方违约，需确保合同条款合法有效，且保证金性质符合约定（如定金需明确标注），否则可能面临退还风险。建议通过诉讼主张违约赔偿，而非直接扣留保证金。

提示：保证金纠纷常涉及合同解释、性质认定及损失举证，建议根据具体合同条款、交易习惯及证据情况综合判断。如有疑问，可进一步提供合同内容或背景信息，以便更精准分析。