结论：工厂离职时，工厂要求你赔偿的情况需根据具体原因和法律规定来判断是否合理及合法。以下从多个角度为你详细分析：
一、员工主动辞职且无过错的情况
法律分析：
- 根据《中华人民共和国劳动合同法》，劳动者提前三十日以书面形式通知用人单位，或在试用期内提前三日通知，即可解除劳动合同。这是劳动者的自主权利，用人单位通常无需支付经济补偿，同时，劳动者也无需因主动辞职而向用人单位支付赔偿。
建议：
- 如果你属于这种情况，且工厂要求你赔偿没有合理依据，你可以拒绝支付，并告知工厂你的辞职是合法的，无需承担赔偿责任。
二、员工主动辞职但存在过错的情况
法律分析：
- 虽然员工主动辞职通常无需赔偿，但如果员工在辞职前存在严重违反用人单位规章制度、失职营私舞弊等行为，给用人单位造成重大损害的，用人单位可能依据《中华人民共和国劳动合同法》第三十九条的规定，要求员工承担赔偿责任。不过，这种情况下，赔偿通常不是工厂主动要求你离职时的直接要求，而是可能在你离职后，工厂通过法律途径向你追偿。
建议：
- 如果你认为自己可能存在过错，但工厂要求你立即赔偿，你可以要求工厂提供具体的损失证明和赔偿依据。如果工厂无法提供，你可以拒绝支付。同时，你也可以考虑与工厂协商，看是否能达成一个双方都能接受的赔偿方案。
三、工厂违法辞退员工的情况
法律分析：
如果工厂违反《中华人民共和国劳动合同法》的规定解除或终止劳动合同，如无任何合法理由即辞退员工，那么工厂需要依照经济补偿标准的二倍向劳动者支付赔偿金。在这种情况下，工厂不仅无权要求你赔偿，反而可能需要向你支付赔偿金。赔偿金计算方式为工作年数乘以月工资再乘以2。
计算公式：赔偿金 = 工作年数 × 月工资 × 2
示例：假设你在工厂工作了3年，月工资为5000元，那么如果工厂违法辞退你，应支付的赔偿金为：3 × 5000 × 2 = 30000元。
建议：
- 如果你认为工厂是违法辞退你，你可以要求工厂支付赔偿金。如果工厂拒绝支付，你可以向劳动仲裁机构申请劳动仲裁，维护自己的合法权益。
四、其他特殊情况
法律分析：
- 除了上述情况外，还有一些特殊情况可能涉及赔偿问题。例如，如果你与工厂签订了培训服务期协议或竞业限制协议，并在辞职时违反了这些协议的规定，那么你可能需要根据协议的约定向工厂支付违约金或赔偿金。
建议：
- 如果你签订了相关协议，并在辞职时可能涉及违约问题，建议你仔细阅读协议条款，了解自己的权利和义务。如果工厂要求你支付违约金或赔偿金，你可以根据协议的约定和实际情况进行协商或寻求法律帮助。
总结与建议：工厂离职时工厂要求你赔偿的情况需根据具体原因和法律规定来判断。如果你认为工厂的要求没有合理依据或违反了法律规定，你可以拒绝支付并寻求法律帮助。在处理此类纠纷时，建议你保留好相关证据（如劳动合同、辞职通知、工厂要求赔偿的书面材料等），以便在需要时向劳动仲裁机构或法院提供证明。如果你有任何疑问或需要进一步的法律帮助，请直接向我咨询。