结论：工厂签了三年合同想走是否需要赔钱，这主要取决于合同中的具体约定以及离职的具体情况。以下从不同角度为你详细分析：
合同中有约定违约金的情况：
- 如果在签订的三年劳动合同中，明确约定了员工提前离职需要支付违约金的条款，并且该条款不违反法律法规的强制性规定（例如，不是针对员工正常离职而设定的不合理违约金），那么当你提前离职时，可能需要按照合同约定支付相应的违约金。
- 法律依据：根据《中华人民共和国劳动合同法》的相关规定，用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项，以及服务期和违约金等事项。但违约金的设定通常与特定的培训、保密义务或竞业限制等相关联，并非随意设定。
合同中没有约定违约金，但存在其他损失的情况：
- 如果合同中没有明确约定违约金，但你的提前离职给工厂造成了实际损失（例如，因你的离职导致工厂生产中断、订单违约等），工厂有权要求你赔偿这些实际损失。但工厂需要承担举证责任，证明损失的存在以及损失与你的离职之间的因果关系。
- 法律建议：在这种情况下，建议与工厂进行协商，尽量达成和解协议，以避免不必要的法律纠纷。如果协商不成，工厂可能会通过法律途径来维护自己的权益。
员工正常离职，无需支付违约金或赔偿损失的情况：
- 如果你按照劳动合同的约定，提前通知了工厂并办理了离职手续，且没有违反合同中的任何条款（如保密义务、竞业限制等），那么你通常不需要支付违约金或赔偿损失。
- 法律背景：根据《中华人民共和国劳动合同法》的规定，劳动者提前三十日以书面形式通知用人单位，可以解除劳动合同。这是劳动者的法定权利，用人单位不得无故阻挠或要求劳动者支付违约金（除非合同中有特别约定且符合法律规定）。
额外建议：
- 在决定离职前，建议仔细阅读劳动合同中的相关条款，特别是关于离职、违约金和赔偿损失的部分。
- 如果对合同条款有任何疑问或不确定的地方，可以向工厂的人力资源部门或法律顾问咨询，以确保自己的权益得到保障。
- 如果与工厂在离职问题上产生纠纷，可以尝试通过协商、调解等方式解决。如果无法达成一致意见，可以考虑通过法律途径来维护自己的权益。
如有任何进一步的问题或需要更具体的法律建议，请直接向我咨询。