针对您提出的“公安解除取保退回保证金怎么办”的问题，以下是我为您提供的详细解答：

首先，我们需要明确取保候审保证金是什么。取保候审保证金是公安机关对符合刑事诉讼法规定取保候审条件的犯罪嫌疑人决定取保候审时，责令犯罪嫌疑人为保证其不妨碍、不逃避刑事诉讼活动而交纳的一定数额的现金。

接下来，关于保证金的退还时机，根据《刑事诉讼法》的相关规定，如果犯罪嫌疑人、被告人在取保候审期间未违反法律规定，那么在取保候审结束的时候，他们就有权领取退还的保证金。具体来说，当法院作出判决后，取保候审即结束，此时公安机关会出具“解除取保候审通知书”。犯罪嫌疑人或其亲属可以凭此通知书，或者能够证明案件已经结束的其他法律文书（如人民检察院的《不起诉决定书》、人民法院的《判决书》、《裁定书》等），到银行领取退还的保证金。

至于退还保证金的流程和时间，根据《公安机关办理刑事案件程序规定》，公安机关在决定退还犯罪嫌疑人的保证金后，应当在解除对犯罪嫌疑人取保候审的同时，通知指定的银行将保证金如数退还给犯罪嫌疑人。这个过程一般会在七个工作日内完成。犯罪嫌疑人需要在《退还保证金决定书》上签名（盖章）、捺指印，以确认收到退还的保证金。

因此，如果您已经收到了公安机关出具的“解除取保候审通知书”，或者能够提供证明案件已经结束的其他法律文书，那么您就可以直接到银行领取退还的保证金了。如果在这个过程中遇到任何问题，比如银行拒绝退还或者退还金额不符等，您可以及时联系公安机关进行咨询和投诉。

希望以上解答能够对您有所帮助。如果您还有其他问题或需要进一步的帮助，请随时告诉我。