结论前置：离职时，用人单位收取的保证金原则上应当退还劳动者，这是劳动者的合法权益，也是用人单位的法定义务。不过，也存在一些特殊情况可能影响保证金的退还，下面为你详细分析。

法律基本规定

根据《中华人民共和国劳动合同法》第九条明确规定：“用人单位招用劳动者，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物。”这表明，用人单位在招聘时收取保证金的行为本身就是不合法的。同时，该法第八十四条第二款进一步规定：“用人单位违反本法规定，以担保或者其他名义向劳动者收取财物的，由劳动行政部门责令限期退还劳动者本人，并以每人五百元以上二千元以下的标准处以罚款；给劳动者造成损害的，应当承担赔偿责任。”所以，从法律规定层面来看，用人单位收取保证金违法，离职时应当退还。

特殊情况及处理方式

1. 存在合法约定情形：在某些特殊行业或岗位中，如果双方基于合理的商业考虑和法律允许的范围内，有关于保证金的特殊约定，并且该约定不违反法律法规的强制性规定（例如，某些高级管理人员涉及商业秘密保护，约定在一定期限内离职需按约定退还部分保证金作为保密补偿），则需根据具体约定和实际情况判断是否退还以及退还的比例。这种情况下，用人单位有权依据约定扣除相应部分的保证金。但这种约定必须是在法律允许的框架内，且不能过度损害劳动者的权益。
2. 保证金性质为培训费用等：若用人单位能证明收取的保证金实际是用于对员工进行专业技术培训等支出，且双方有明确的服务期等相关约定，当员工违反服务期约定辞职时，用人单位可根据约定和法律规定扣除相应部分的保证金。但扣除的数额不得超过服务期尚未履行部分所应分摊的培训费用。比如，用人单位为劳动者提供了价值2万元的培训，约定服务期为2年，劳动者工作1年后离职，那么用人单位最多只能扣除1万元的保证金。

劳动者权益保护及维权途径

当劳动者离职时，无论因何种原因，用人单位都应无条件地退还之前收取的保证金（除非存在上述特殊情况）。如果用人单位拒不退还保证金，劳动者可以通过以下途径来维护自己的权益：

1. 友好协商：首先，建议劳动者与用人单位进行友好协商，明确指出法律规定，要求单位及时退还保证金。这是一种成本较低、效率较高的解决方式，很多情况下通过友好沟通就能解决问题。
2. 投诉举报：如果协商无果，劳动者可以向当地的劳动行政部门投诉。劳动行政部门会依法对用人单位进行调查处理，责令其限期退还劳动者本人保证金，并以每人五百元以上二千元以下的标准处以罚款；给劳动者造成损害的，用人单位还应当承担赔偿责任。
3. 法律仲裁或诉讼：若用人单位仍然拒绝退还保证金，劳动者还可以向劳动争议仲裁委员会申请仲裁，或者向人民法院提起诉讼。在这两种法律程序中，劳动者需要提供充分的证据证明用人单位收取了保证金且未退还，比如收据、转账记录、与用人单位沟通的记录等。一旦胜诉，劳动者不仅有权要求用人单位退还保证金，还可能获得相应的经济补偿。

总结

综上所述，离职时用人单位收取的保证金原则上应当退还。劳动者应了解自己的权益，在遇到用人单位不退还保证金的情况时，积极运用上述法律途径来保障自身的合法财产权益。如果你在这方面还有其他疑问，可以直接向我咨询。