取保候审的保证金在犯罪嫌疑人、被告人未违反相关规定且取保候审结束时可以退还。以下是对取保候审保证金退还的详细解答：

一、退还条件

根据《中华人民共和国刑事诉讼法》第七十三条的规定，犯罪嫌疑人、被告人在取保候审期间未违反本法第七十一条规定的，取保候审结束的时候，凭解除取保候审的通知或者有关法律文书到银行领取退还的保证金。这些规定包括：

1. 未经执行机关批准不得离开所居住的市、县；
2. 住址、工作单位和联系方式发生变动的，在二十四小时以内向执行机关报告；
3. 在传讯的时候及时到案；
4. 不得以任何形式干扰证人作证；
5. 不得毁灭、伪造证据或者串供。

若犯罪嫌疑人、被告人遵守了上述规定，且司法机关决定解除取保候审措施时，保证金应当予以退还。

二、退还流程

1. 决定与通知：由决定机关（如人民法院、人民检察院或公安机关）作出解除取保候审的决定，并出具《解除取保候审决定书》。执行机关收到决定书后，会及时通知被取保候审人。
2. 领取保证金：被取保候审人或其法定代理人凭借解除取保候审的通知或相关法律文书，前往缴纳保证金的银行或其他金融机构办理退款手续。通常情况下，银行会在收到相关法律文书后的三到七个工作日内将保证金退还给被取保候审人或其指定的账户。

三、退还时间

1. 一般情况：取保候审期限最长不得超过十二个月。期限届满且未违反规定时，执行机关会及时作出解除取保候审的决定，并通知被取保候审人到银行领取保证金。此时，退还时间通常在解除取保候审决定作出后的几个工作日内完成。
2. 特殊情况：若在取保候审期间发现不应当追究犯罪嫌疑人、被告人的刑事责任，或案件已经办结等情况，也会提前解除取保候审，并退还保证金。例如，侦查机关发现犯罪嫌疑人没有犯罪事实，就会撤销案件并解除取保候审，退还保证金。此时，退还时间可能因案件处理进度而有所不同。

四、注意事项

1. 保留凭证：被取保候审人在缴纳保证金时应妥善保管好收据等相关凭证，以便在申请退还时使用。
2. 及时沟通：如果在规定时间内未收到退还的保证金，被取保候审人可以主动与办案机关联系，了解退还进度和原因。
3. 法律救济：如果对退还决定有异议，被取保候审人有权依法申请复议或提起诉讼，以维护自己的合法权益。

五、特殊情况下的处理

若被取保候审人在取保候审期间违反了相关规定，保证金可能会被依法没收，不予退还。此外，若因案件需要，对犯罪嫌疑人、被告人变更为其他强制措施（如逮捕、监视居住等），取保候审同样结束，但在此情况下，若因违反规定导致保证金被没收，则退还时间将根据处理违反规定行为的进程而定。

综上所述，取保候审保证金的退还涉及多个法律知识点，包括退还条件、时间节点、具体流程以及可能的特殊情况。在实际操作中，应严格遵守相关法律法规，确保流程的合法性和规范性。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。