当单位不给退押金时，你可以按照以下步骤来处理这个问题：

一、明确法律背景

首先，要明确的是，用人单位收取押金是违反《劳动合同法》的。该法规定，用人单位招用劳动者时，不得扣押劳动者的居民身份证和其他证件，也不得要求劳动者提供担保或者以其他名义向劳动者收取财物。因此，单位不给退押金的行为，从法律上来说，是不合法的。

二、尝试协商解决

1. 与单位沟通：你可以首先尝试与单位的相关负责人进行沟通，明确表达你要求退还押金的诉求，并指出其行为是违法的。在沟通过程中，尽量保持冷静和理智，避免情绪化的言辞。
2. 记录沟通情况：如果单位拒绝退还押金，你要做好沟通记录，包括沟通的时间、地点、参与人员以及单位的拒绝理由等。这些记录将在后续的维权过程中起到重要作用。

三、向劳动监察部门投诉

如果与单位协商无果，你可以向所在地的劳动监察部门投诉。在投诉时，你需要提交能够证明单位收取押金的相关证据，如押金条、合同中关于押金的条款、支付押金的转账记录等。劳动监察部门将会对投诉进行调查处理，并责令单位限期退还押金。

四、申请劳动仲裁

如果经过劳动监察部门的处理，单位仍然拒绝退还押金，你可以向劳动争议仲裁委员会申请仲裁。在申请仲裁时，你需要准备好详细的仲裁申请书和证据材料。仲裁委将会根据事实和法律作出裁决，要求单位退还押金。如果单位不履行仲裁裁决，你还可以向法院申请强制执行。

五、注意事项

1. 保留证据：在整个过程中，保留好所有与押金相关的证据是非常重要的。这些证据将是你维权的有力武器。
2. 了解法律：在维权过程中，了解相关的法律法规和维权途径也是非常重要的。这可以帮助你更好地维护自己的合法权益。
3. 及时维权：如果单位拒绝退还押金，你应该及时采取行动进行维权。拖延时间可能会让你的权益受到更大的损害。

综上所述，当单位不给退押金时，你可以通过协商、投诉、仲裁等途径来维护自己的合法权益。在整个过程中，要保持冷静和理智，并保留好所有相关的证据。