能否要回保证金需分情况讨论，具体取决于合同条款、解约原因及双方过错程度。以下从不同角度展开分析：

1. 合同条款的约定
   若双方签订的书面合同中明确约定了保证金退还条件（如“单方解约需提前X日通知，否则保证金不予退还”或“因乙方违约导致解约，保证金作为违约金扣除”），则需优先按合同执行。

   • 若合同无明确约定：根据《民法典》第510条，可协商补充约定；协商不成时，需结合解约原因判断。

2. 解约方的过错程度

   • 若因对方违约解约（如未按时提供货源、货源质量不达标）：
     您有权要求解除合同并全额退还保证金，甚至可主张对方赔偿损失（《民法典》第563条、第577条）。
     
   • 若因您自身原因解约（如突然反悔、未按合同履行义务）：
     对方可能依据合同条款或《民法典》第584条主张扣除保证金作为违约金或赔偿金。但若保证金金额过高（超过实际损失的30%），您可请求法院或仲裁机构调整（《民法典》第585条）。
     
   • 若因不可抗力或情势变更解约（如政策调整、自然灾害导致无法经营）：
     双方均无过错时，保证金通常应退还，但需提供相关证明（《民法典》第590条）。

3. 保证金性质与实际履行情况

   • 若保证金为“定金”（合同中明确标注“定金”）：
     根据《民法典》第587条，若您违约，对方可没收定金；若对方违约，需双倍返还。
     
   • 若保证金为“履约保证金”：
     需结合合同目的判断。若对方未因解约遭受实际损失（如已找到新合作方），保证金应退还；若已产生损失（如已为您预留货源导致积压），可能需扣除合理部分。

建议行动步骤：

1. 审查合同：重点查看保证金条款、解约条件及违约责任约定；
   
2. 固定证据：保存解约通知、沟通记录、对方违约证明（如货源问题照片、聊天记录）等；
   
3. 协商解决：优先与对方沟通，明确解约原因及保证金退还方案；
   
4. 法律途径：若协商无果，可向法院起诉或申请仲裁，主张退还保证金及利息（如有）。

温馨提示：法律纠纷中，证据是关键。若您手头材料不完整或对合同条款有疑问，可直接向我提供具体信息，我会帮您进一步分析。