工厂宿舍押金的退还时间主要取决于合同的约定以及押金的性质。以下是对此问题的详细分析：
一. 合同约定
明确约定退还时间：如果合同中明确规定了押金的退还时间，比如是在员工离职时、宿舍退还时或者某个具体的日期，那么工厂应当按照合同约定的时间退还押金。
未明确约定退还时间：如果合同中没有明确约定押金的退还时间，那么通常应当在员工履行完合同义务，如离职并退还宿舍后，合理的时间内退还押金。这个时间可以根据行业惯例或者双方协商来确定。
二. 押金的性质
作为保证金：如果押金只是作为一种保证金，用以确保员工在住宿期间遵守宿舍管理规定并按时支付相关费用，那么在员工离职并退还宿舍，且没有违反任何规定或欠缴费用的情况下，押金应当予以退还。
具有定金性质：如果押金具有定金性质，即作为员工履行住宿合同的一种担保，那么退还押金的时间可能会受到员工是否履行了合同义务的影响。如果员工履行了合同义务，押金应当在合同终止时退还；如果员工未履行合同义务，押金可能会被扣除作为违约金。
我建议，在入职时务必仔细阅读并理解宿舍押金相关的合同条款，明确押金的性质、退还条件以及退还时间。如果工厂未按照合同约定退还押金，员工可以与工厂协商处理，协商不成的，可以向人民法院起诉维护自己的合法权益。如有进一步需要，您可以继续咨询我。