结论：劳动者和用人单位没有发生劳动关系时，用人单位一般应当退回押金，但具体还需根据押金性质、收取依据及双方约定等因素综合判断。
分析：
劳动关系未建立时的押金处理：
- 在劳动关系未实际建立的情况下，用人单位通常没有合法依据继续持有劳动者的押金。因为押金本身往往与劳动关系的履行相关联，如确保劳动者履行工作职责、遵守规章制度等。若劳动关系未建立，这些前提条件便不存在，用人单位继续持有押金缺乏合法性。
- 法律依据：虽然直接针对此情况的法律条款可能并不明确，但根据《中华人民共和国劳动合同法》第九条关于“用人单位招用劳动者，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物”的规定，可以推断出在劳动关系未建立时，用人单位收取押金的行为本身就可能违法，因此应当退回。
押金性质与收取依据：
- 押金的性质和收取依据也是判断是否应退回的重要因素。如果押金是作为履行某种特定义务（如培训、保密等）的担保，且这些义务与劳动关系的建立直接相关，那么在劳动关系未建立时，押金应当退回。
- 如果押金是基于其他合法原因收取（如预付款、定金等），且这些原因与劳动关系无关，那么是否退回可能需要根据双方的具体约定和法律规定来判断。
双方约定与实际情况：
- 双方在收取押金时是否有明确的约定也是判断是否应退回的关键。如果双方约定在劳动关系未建立时押金应退回，那么用人单位应当遵守这一约定。
- 实际情况也是考虑的因素之一。例如，如果用人单位已经为劳动者提供了某些服务或支付了某些费用（如培训费、招聘费等），且这些费用与押金相当或超过押金金额，那么用人单位可能会主张从押金中扣除这些费用后再退回剩余部分。但这种情况需要具体分析，且用人单位不能单方面决定扣除金额。
建议与后果：
- 建议：如果劳动者发现用人单位在劳动关系未建立时拒绝退回押金，可以首先与用人单位协商解决。如果协商无果，劳动者可以向当地劳动监察部门投诉或申请劳动仲裁，以维护自己的合法权益。
- 法律后果：如果用人单位未经劳动者同意擅自扣留押金，可能面临劳动监察部门的处罚和劳动者的法律诉讼。在诉讼中，用人单位可能需要承担退回押金、支付利息或赔偿损失等法律责任。
特殊情况说明：
- 如果押金是作为某种特定服务或产品的预付款，且这些服务或产品与劳动关系无关，那么是否退回可能需要根据双方的具体约定和消费者权益保护法的相关规定来判断。
- 在某些特殊情况下（如劳动者违反了与用人单位之间的非劳动关系相关协议），用人单位可能会主张扣除部分或全部押金作为违约金。但这种情况需要具体分析协议内容、违约事实及法律规定等因素。
总结：在劳动关系未建立的情况下，用人单位一般应当退回押金。但具体是否退回还需根据押金性质、收取依据、双方约定及实际情况等因素综合判断。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。