结论前置：工厂以不退还工服押金的方式限制员工离职属于违法行为，您可以通过协商、投诉或法律途径要求工厂退还押金。以下是具体分析和建议：

1. 工厂收取工服押金的行为本身可能违法

根据《劳动合同法》第九条，用人单位招用劳动者时，不得扣押劳动者的居民身份证和其他证件，不得要求劳动者提供担保或者以其他名义向劳动者收取财物。工服押金属于“以其他名义收取财物”的范畴，因此工厂收取押金的行为本身可能违法。

2. 离职时工厂无权扣押押金

即使工厂在入职时以“工服损坏赔偿”等名义收取了押金，离职时也应当无条件退还。若工厂以“工服未归还”“工服损坏”等理由拒绝退还，需承担举证责任（如证明工服损坏是您造成的），否则无权扣押。

3. 维权步骤建议

（1）协商解决

• 优先与工厂人事部门或负责人沟通，明确要求退还押金，并保留沟通记录（如微信、邮件、录音等）。
• 引用《劳动合同法》第九条，说明工厂行为违法，要求限期退还。

（2）投诉举报

• 若协商无果，可向当地劳动监察大队投诉（拨打12333或通过当地人社局官网投诉），劳动监察部门会介入调查并责令工厂退还押金。
• 投诉时需提供押金收据、劳动合同、工服归还证明（如有）等证据。

（3）申请劳动仲裁

• 若投诉后工厂仍拒绝退还，可向劳动争议仲裁委员会申请仲裁（需在离职后1年内提出）。
• 仲裁请求可包括：退还押金、支付因维权产生的合理费用（如交通费、误工费等）。

（4）提起诉讼

• 若对仲裁结果不服，可向法院提起诉讼（需在收到仲裁裁决书后15日内提出）。
• 诉讼流程相对复杂，但法院判决具有强制执行力，工厂必须履行。

4. 注意事项

• 保留证据：押金收据、劳动合同、工服归还记录、沟通记录等是维权关键。
• 及时行动：劳动争议的仲裁时效为1年，逾期可能丧失维权权利。
• 避免冲突：维权过程中保持理性，避免与工厂发生肢体或语言冲突，以免影响自身权益。

总结：工厂不退还工服押金的行为违法，您有权通过协商、投诉、仲裁或诉讼等途径要求退还。建议优先协商，若无效则及时投诉或申请仲裁，以维护自身合法权益。如有其他疑问，欢迎继续向我咨询。