取保候审的保证金应当向作出取保候审决定的公安机关申请退还。以下是对这一问题的详细解答：

一、保证金退还的基本流程

1. 申请退还：在取保候审期限届满或者案件已经审理终结，且被取保候审人没有违反取保候审规定的情况下，被取保候审人或者其法定代理人、近亲属可以向作出取保候审决定的公安机关提出退还保证金的申请。
2. 审核决定：公安机关在收到申请后，会进行审核。如果确认被取保候审人没有违反取保候审规定，公安机关会作出退还保证金的决定，并通知指定的银行将保证金如数退还给被取保候审人。
3. 退还执行：银行在收到公安机关的退还决定后，会按照决定将保证金退还给被取保候审人。

二、保证金退还的注意事项

1. 遵守取保候审规定：被取保候审人在取保候审期间必须严格遵守相关规定，如不得离开所居住的市、县，不得干扰证人作证等。如果违反了这些规定，保证金可能不会被退还，甚至可能被没收。
2. 及时申请退还：在取保候审期限届满或者案件已经审理终结后，被取保候审人或者其法定代理人、近亲属应及时向公安机关提出退还保证金的申请，以免因拖延而影响保证金的退还。
3. 保留相关证据：在申请退还保证金时，被取保候审人或者其法定代理人、近亲属应保留好相关证据，如取保候审决定书、保证金收据等，以便在申请退还时提供证明。

三、特殊情况下的保证金处理

1. 案件未结：如果案件在取保候审期限内尚未审理终结，且被取保候审人没有违反取保候审规定，保证金一般不予退还，而是继续作为取保候审的担保。
2. 违反规定：如果被取保候审人在取保候审期间违反了相关规定，公安机关有权根据情节轻重决定没收部分或者全部保证金。
3. 变更强制措施：如果被取保候审人在取保候审期间被变更强制措施，如被逮捕或者监视居住等，保证金的处理将根据新的强制措施和案件情况进行决定。

四、法律建议

1. 了解法律规定：被取保候审人及其家属应了解取保候审的相关法律规定，特别是关于保证金退还的规定，以便在需要时能够正确行使自己的权利。
2. 积极配合调查：在取保候审期间，被取保候审人应积极配合公安机关的调查工作，如实提供证据和信息，以便案件能够顺利审理。
3. 及时咨询律师：如果在取保候审期间遇到任何法律问题或者需要申请退还保证金等事宜，建议及时咨询专业律师，以便得到专业的法律帮助和指导。

总之，取保候审的保证金退还问题涉及多个环节和注意事项。如果你或者你的亲友遇到此类问题，可以直接向我咨询，我会根据你的具体情况提供详细的法律建议和帮助。