不是只有解除取保候审通知书才能去银行退钱，能否退钱需结合保证金缴纳凭证、案件处理结果等多种因素综合判断。以下从不同情况为你详细分析：

1. 解除取保候审后：当犯罪嫌疑人、被告人在取保候审期间遵守相关规定，案件终结后，公安机关会出具《解除取保候审决定书》等法律文书。此时，当事人或其家属可以凭借该文书以及当初缴纳保证金的凭证（如保证金收据等），前往银行办理保证金退还手续。这是因为解除取保候审意味着对当事人的强制措施已经结束，之前缴纳的保证金理应退还。例如，小张因涉嫌盗窃被取保候审，在取保期间他严格遵守规定，配合警方调查，最终案件因证据不足撤销。公安机关出具了解除取保候审决定书，小张拿着该文书和保证金收据到银行，顺利退回了缴纳的保证金。
2. 未到解除取保候审阶段但符合退还条件：在某些特殊情况下，即使还没有正式解除取保候审，也可能可以退还保证金。比如，在取保候审期间，发现对犯罪嫌疑人、被告人采取取保候审不当的情况，需要变更强制措施或者决定不予起诉等。此时，公安机关也会根据相关规定退还保证金。当事人或家属同样需要凭借公安机关出具的相关法律文书以及保证金缴纳凭证去银行办理退钱手续。例如，小李因涉嫌诈骗被取保候审，在侦查过程中，警方发现小李的行为不构成犯罪，决定不予起诉。在这种情况下，虽然还没有到解除取保候审的常规程序，但小李也可以凭借不予起诉决定书和保证金收据到银行退钱。
3. 无法提供必要凭证：如果当事人或家属无法提供解除取保候审通知书（或者相关符合退还条件的法律文书）以及保证金缴纳凭证，银行通常不会办理退钱手续。因为银行需要依据这些凭证来确认当事人的身份以及保证金的缴纳和退还情况，以确保资金的安全和合法流转。例如，小王在取保候审结束后，不小心将保证金收据丢失，也没有保留解除取保候审决定书，当他去银行要求退钱时，银行因无法核实相关信息而拒绝办理。

如果你在保证金退还方面遇到问题，或者有其他法律疑问，都可以直接向我咨询。