关于银行贷款担保公司不退保证金的责任问题，需分情况讨论，具体如下：

1. 合同约定明确且担保公司无合理理由拒退

   • 责任归属：若贷款合同或担保合同中明确约定了保证金的退还条件、时间及方式，且借款人（或担保人）已满足退还条件（如按时还款、无违约行为等），担保公司无正当理由拒不退还保证金的，担保公司构成违约，应承担违约责任。
   • 法律依据：根据《中华人民共和国民法典》第五百七十七条，当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。
   • 建议行动：借款人可首先与担保公司协商，要求其按合同约定退还保证金；协商无果的，可向法院提起诉讼，要求担保公司退还保证金并承担违约责任（如支付违约金、赔偿损失等）。

2. 合同约定不明确或存在争议

   • 责任归属：若合同中关于保证金的退还条件、时间或方式约定不明确，或双方对合同条款的理解存在争议，导致担保公司拒不退还保证金的，责任可能需根据双方过错程度分担，或由法院根据公平原则、交易习惯等判定。
   • 法律依据：根据《中华人民共和国民法典》第四百六十六条，合同生效后，当事人就质量、价款或者报酬、履行地点等内容没有约定或者约定不明确的，可以协议补充；不能达成补充协议的，按照合同相关条款或者交易习惯确定。若仍无法确定，可根据《民法典》第五百一十条至第五百一十一条的规定处理。
   • 建议行动：借款人可尝试与担保公司协商补充协议，明确保证金退还条款；协商不成的，可收集相关证据（如合同、还款记录、沟通记录等），向法院提起诉讼，由法院根据具体情况判定责任归属及保证金退还方式。

3. 担保公司存在欺诈或违法行为

   • 责任归属：若担保公司在收取保证金时存在欺诈行为（如虚构退还条件、隐瞒重要信息等），或违反法律法规（如非法集资、挪用资金等），导致保证金无法退还的，担保公司不仅需承担民事责任，还可能面临行政处罚或刑事责任。
   • 法律依据：根据《中华人民共和国民法典》第一百四十八条至第一百五十四条，一方以欺诈手段使对方在违背真实意思的情况下实施的民事法律行为，受欺诈方有权请求人民法院或者仲裁机构予以撤销。同时，若担保公司的行为构成犯罪（如诈骗罪、挪用资金罪等），将依法追究刑事责任。
   • 建议行动：借款人若发现担保公司存在欺诈或违法行为，应立即向公安机关报案，并收集相关证据（如合同、转账记录、沟通记录、证人证言等）；同时，可向法院提起诉讼，要求担保公司退还保证金并赔偿损失。

总结与建议：

• 借款人应首先审查贷款合同及担保合同，明确保证金的退还条款；
• 若合同约定明确且担保公司无合理理由拒退，借款人可通过协商或诉讼要求担保公司退还保证金并承担违约责任；
• 若合同约定不明确或存在争议，借款人应尝试与担保公司协商补充协议，或收集证据向法院提起诉讼；
• 若担保公司存在欺诈或违法行为，借款人应立即向公安机关报案，并同时通过法律途径维护自身权益。

如有进一步疑问或需要具体法律帮助，请直接向我咨询。