核心结论：借款抵押物若被私自退还，担保人可能面临承担担保责任的风险，但可通过主张抵押权未有效设立、债权人过错等理由进行抗辩或追偿，具体需结合抵押物退还方式、担保合同约定及各方过错程度综合判断。以下是具体分析：

一、担保人可能承担的责任类型

1. 若抵押权未有效设立
   根据《民法典》第402条，抵押权自登记时设立（不动产）或交付时设立（动产）。若抵押物未依法办理登记或交付，抵押权未设立，此时担保人可能需以一般保证人或连带责任保证人的身份承担责任，具体取决于担保合同约定。
   例外：若债权人明知抵押物未登记/交付仍接受，担保人可主张债权人存在过错，减轻或免除责任。

2. 若抵押权已设立但被私自退还
   若抵押物已依法设立抵押权（如完成登记），但被债务人或债权人私自退还，抵押权仍存在，但担保人可能因抵押物灭失或价值减损而承担补充赔偿责任。此时需区分：

   • 债权人过错：若债权人同意退还抵押物（如解除抵押登记），视为放弃抵押权，担保人可在债权人放弃范围内免责（《民法典》第409条）；
     
   • 债务人过错：若债务人私自退还抵押物，担保人仍需承担责任，但可向债务人追偿。

二、担保人的抗辩与追偿路径

1. 抗辩理由

   • 抵押权未设立：提供抵押物未登记/交付的证据（如不动产登记簿、动产交付记录）；
     
   • 债权人过错：证明债权人同意退还抵押物（如书面协议、聊天记录）；
     
   • 担保合同无效：若担保合同因违反法律强制性规定（如流押条款）无效，担保人仅需承担过错赔偿责任。

2. 追偿方式

   • 向债务人追偿：担保人承担责任后，可依据《民法典》第700条向债务人追偿；
     
   • 向债权人主张过错赔偿：若债权人存在过错（如未妥善保管抵押物），担保人可要求其分担损失。

三、实务建议

1. 立即取证：收集抵押合同、登记证明、退还抵押物的证据（如转账记录、书面协议）；
   
2. 书面通知：向债权人和债务人发送律师函，明确反对私自退还抵押物，并要求恢复抵押状态；
   
3. 协商或诉讼：根据证据充分程度，选择与债权人协商补充担保或直接起诉主张免责。

提示：具体案件需结合抵押物类型（不动产/动产）、担保合同条款及各方过错程度综合判断。若涉及复杂情况（如抵押物已转让给第三人），建议提供详细材料进一步分析。