保证金是否予以退还，需根据具体情况及合同约定、相关法律法规综合判断。以下从不同角度为您详细分析：
一、合同有明确约定的情况
可退还情形：
- 若合同中明确规定了保证金的退还条件，如“合同履行完毕且无违约行为，保证金全额退还”，则当满足这些条件时，保证金应当退还。
- 例如，在租赁合同中，若约定“租期结束且房屋无损坏，出租人退还租赁保证金”，则承租人在满足条件时有权要求退还保证金。
不可退还情形：
- 若合同中规定了保证金不予退还的条件，如“若承租人提前解约，保证金不予退还”，则当承租人提前解约时，出租人有权扣除保证金。
二、合同无明确约定或约定不明的情况
遵循法律法规：
- 在合同无明确规定或规定不明确时，应遵循相关法律法规的规定。例如，《中华人民共和国民法典》中关于定金的规定（虽定金与保证金性质略有不同，但可作类比参考），若给付保证金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，无权请求返还保证金；收受保证金的一方不履行债务或者履行债务不符合约定，致使不能实现合同目的的，应当双倍返还保证金（此处需注意，实际法律适用需结合保证金具体性质及合同约定）。
- 在建设工程领域，《中华人民共和国招标投标法》规定，中标人不履行与招标人订立的合同的，履约保证金不予退还，给招标人造成的损失超过履约保证金数额的，还应当对超过部分予以赔偿。
双方协商确定：
- 若合同与法律法规均无明确规定，双方可通过友好协商来确定保证金的退还方式。在协商过程中，应考虑双方的实际情况和利益平衡，如合同履行程度、违约责任大小等。
三、不同类型保证金的具体退还规则
履约保证金：
- 可退还：合同履约完毕，且无违约行为时，履约保证金应当退还。例如，工程承包合同中，工程验收合格且无质量问题后，发包方需在约定时间内退还履约保证金。
- 不可退还：若履约方存在违约行为，如未按期履行合同义务、交付不合格产品等，履约保证金可能不予退还或部分扣除。
投标保证金：
- 可退还：未中标供应商的投标保证金应在结果公示后一定工作日内退还（具体时间根据招投标文件或相关法律法规确定）。
- 不可退还：若供应商存在串标、围标、虚假投标等违规行为，投标保证金可能被没收。
租赁保证金：
- 可退还：租期结束且房屋无损坏、承租人按时支付费用时，出租人应退还租赁保证金。
- 不可退还：若承租人擅自改变租赁物用途、损坏租赁物或拖欠租金，出租人有权扣除部分或全部保证金。
四、不退还保证金的合法情形
- 违约行为：如未按期履行合同义务、交付不合格产品等。
- 债务抵销：对方可用保证金抵扣应付账款（需符合法定抵销条件）。
- 第三方索赔：因保证金缴纳方的行为导致第三方损失，保证金可能被用于赔偿。
五、争议解决途径
若对方拒绝退还保证金且无合理依据，您可采取以下措施：
- 协商沟通：优先通过书面函件要求说明扣款原因，并尝试协商解决。
- 法律诉讼：向法院起诉并提供合同、付款凭证等证据，主张返还请求权。
- 行业监管投诉：向相关行业监管部门（如住建局、工商局等）反映情况（适用于特定行业）。
建议：在实际操作中，建议您仔细审查相关合同和法律法规，并保留好合同、收据、验收报告等材料作为证据。若遇到复杂纠纷或不确定如何处理时，可直接向我咨询，我将根据您的具体情况提供更准确的法律意见。