如甲方不退还银行保函，首先应与甲方进行协商，协商不成可通过法律途径要求甲方退还，或要求银行履行其担保责任。具体分析如下：

一. 与甲方协商

• 在发现甲方未退还银行保函时，首先应尝试与甲方进行沟通，了解其不退还的原因，并寻求解决方案。有时，这可能只是由于误解或沟通不畅导致的，通过协商往往能够达成共识，解决问题。

二. 通过法律途径要求退还

• 如果协商无果，甲方仍然拒绝退还银行保函，那么可以考虑通过法律途径来维护自己的权益。根据相关法律法规，甲方无权无故扣留银行保函，你有权要求其退还。
• 在此过程中，你可能需要准备相关证据，如合同、银行保函原件、与甲方的沟通记录等，以证明甲方的不当行为。

三. 要求银行履行担保责任

• 另一种选择是要求银行履行其担保责任。银行保函本质上是一种担保，如果甲方不履行其义务（如退还保函），你可以要求银行按照保函的约定承担责任。
• 这通常涉及到向银行提交相关证据，证明甲方未履行其义务，并请求银行按照保函的条款进行赔付或采取其他相应措施。

四. 法律依据

• 虽然直接针对银行保函不退还的法律法规可能并不明确，但《中华人民共和国商业银行法》第四十二条提到了商业银行在担保贷款中的权利和义务。该条款虽然主要关注的是贷款本息的归还，但也体现了商业银行在担保关系中的法律责任。在类似情况下，可以参照此条款的精神，要求银行或甲方履行其相应的义务。

我建议，在采取任何法律行动之前，都应尽可能收集并保留所有相关证据，以便在需要时提供证明。同时，也要考虑法律行动的成本和效益，权衡利弊后做出决策。如有进一步需要，您可以继续咨询我。