拒不退还取保候审保证金，除非有合法依据，否则是违法的。被取保候审人或其相关代理人有权通过法律途径维护自己的合法权益。以下是对这一问题的详细分析：
一、取保候审保证金的退还规定
根据《中华人民共和国刑事诉讼法》的相关规定，犯罪嫌疑人、被告人在取保候审期间未违反法律规定的，取保候审结束的时候，应凭解除取保候审的通知或有关法律文书到银行领取退还的保证金。这是法律赋予被取保候审人的合法权益，旨在保障其在未违反取保候审规定的情况下的财产权益不受侵害。
二、司法机关及其工作人员的责任
及时退还保证金：司法机关在取保候审结束后，应当依规及时退还保证金。如果无正当理由拒不退还，这种行为不仅违反了法定程序，也直接侵害了被取保候审人的合法财产权益。此时，被取保候审人有权通过合法途径进行申诉、控告，如向该司法机关的上级部门或同级人民检察院反映情况，要求纠正违法行为并退还保证金。
严禁私自截留、侵吞：对于执行机关工作人员私自截留、侵吞保证金的行为，这不仅是违反内部纪律的问题，更可能涉嫌贪污等刑事犯罪。对此类行为，应依法严惩，以维护法律的尊严和公正。
三、保证金没收的合法情形
如果被取保候审人违反了取保候审的相关规定，如未经执行机关批准离开所居住的市、县，或住址、工作单位和联系方式发生变动未在规定时间内报告等，执行机关有权根据情况决定对保证金部分或全部予以没收。在这种情况下，不退还保证金是有法律依据的，不属于违法情形。但需要注意的是，这种没收必须基于明确的法律依据和事实依据，不能随意进行。
四、复议与复核程序
根据《关于取保候审若干问题的规定》，被取保候审人或其法定代理人、近亲属、辩护人在收到没收保证金决定后五日以内，有权向作出没收决定的机关申请复议。公安机关应在收到复议申请书后三十日以内作出决定，并书面通知申请人。如果复议申请被驳回，当事人还可以依法向上一级公安机关申请复核。这一程序为被取保候审人提供了额外的法律救济途径，以确保其合法权益得到充分保障。
五、建议与指导
了解退还流程：被取保候审人应首先了解取保候审保证金的退还流程和所需材料，确保自己符合退还条件。
与司法机关沟通：如果发现保证金未及时退还，可以与办案机关或相关部门进行沟通，了解原因并要求尽快处理。
寻求法律帮助：如果沟通无果，或者认为司法机关的行为违法，可以向我咨询，我会根据具体情况提供专业的法律意见和解决方案。
综上所述，拒不退还取保候审保证金是违法的，除非存在合法的没收依据。被取保候审人或其相关代理人应充分了解自己的权利和法律程序，以便在必要时通过法律途径维护自己的合法权益。如果你有任何疑问或需要进一步的法律帮助，请随时向我咨询。