中介退押金并非“当时一定不给退”，是否当场退还需根据具体情况判断，以下分情况说明：

1. 合同有明确约定
   若您与中介签订的合同中明确约定了“押金退还时间”（如合同终止后3个工作日内退还），则中介需按约定履行。若合同未约定具体时间，根据《民法典》第五百一十一条，中介应在合理期限内退还（通常理解为合同终止后1-2周内）。
   例外：若合同约定“押金用于抵扣可能产生的费用”（如房屋损坏赔偿、欠缴水电费等），中介需在扣除实际费用后，将剩余部分退还给您。此时若中介主张抵扣费用，需提供费用明细及凭证，否则您有权要求全额退还。

2. 合同无明确约定，但中介单方拖延
   若合同未约定退还时间，且中介以“财务流程”“领导审批”等理由拖延退还，您可先通过书面形式（如微信、邮件）催告中介，要求其在合理期限内（如7日内）退还。若中介仍拒绝，您可向当地房管部门投诉（针对房屋租赁中介）或向法院起诉，主张中介承担逾期退还的违约责任（如按LPR计算利息）。

3. 您存在违约行为
   若您在合同履行期间存在违约行为（如提前解约、损坏房屋等），中介有权根据合同约定扣除部分或全部押金。但中介需举证证明您的违约行为及损失金额，否则您仍有权要求退还剩余押金。
   提示：若中介主张扣除押金，您可要求其提供费用明细、维修发票等证据，避免中介滥用权利。

建议行动步骤：

1. 检查合同中关于押金退还的条款；
   
2. 若中介无正当理由拖延，先书面催告并保留证据；
   
3. 若仍无法解决，可向房管部门投诉或直接起诉。
   

如有具体合同条款或中介的回复内容，可提供给我进一步分析。