结论：仅工作一天便离职且不退押金的情况，能否要回押金需分情况讨论，关键在于押金性质是否合法以及双方约定是否有效。以下从不同角度为你详细分析：

1. 若押金性质不合法：根据《劳动合同法》第九条规定，用人单位招用劳动者，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物。如果用人单位收取的押金属于这种违法情形，那么无论你工作多久，用人单位都无权扣留押金，你有权要求全额退还。你可以先与用人单位友好协商，明确指出其收取押金的行为违法，要求立即退还；若协商不成，可以向当地劳动监察部门投诉，劳动监察部门会依法进行调查处理，责令用人单位退还押金。
2. 若押金性质合法但约定不合理：在某些特殊情况下，用人单位收取押金可能有一定的合理性依据，比如一些涉及贵重物品保管、商业秘密保护等岗位。但即便如此，双方关于押金的约定也必须合理合法。如果约定中存在显失公平的条款，例如规定只要劳动者离职就不退还押金，而不考虑离职原因、工作表现等因素，这种约定可能是无效的。在这种情况下，你同样可以先尝试与用人单位协商，说明约定不合理之处，要求退还押金；协商无果的话，可以通过劳动仲裁的方式解决，你需要准备相关的证据，如押金收据、劳动合同等，以证明押金的存在以及约定的不合理性。
3. 若押金性质合法且约定合理：如果用人单位收取押金有合法依据，且双方在平等自愿的基础上签订了合理的协议，明确规定了在特定情况下（如你因自身原因工作一天就离职，给用人单位造成了实际损失等）可以不退还押金。那么在这种情况下，用人单位可能有权不退还押金。不过，用人单位需要承担举证责任，证明你确实给其造成了符合约定条件的损失。如果用人单位无法提供充分证据，你仍然可以要求退还押金。

建议：你可以先收集相关证据，如押金收据、与用人单位沟通的记录等，然后按照上述不同情况，先尝试与用人单位协商解决；若协商不成，再根据具体情况选择向劳动监察部门投诉或者申请劳动仲裁。如果你在处理过程中遇到任何疑问，都可以直接向我咨询。