结论前置：
- 若与劳务派遣公司及工厂协商无果，你有权依法解除劳动合同并离职。
- 若工厂因此扣发工资或拒绝办理离职手续，你可以通过法律途径维护自己的权益。
详细分析：
首先，我们需要明确的是，你作为劳务派遣员工，与劳务派遣公司签订了劳动合同，并被派遣至工厂工作。在这种情况下，你的劳动关系是与劳务派遣公司建立的，而非直接与工厂建立。因此，当你想要离职时，理论上应该向劳务派遣公司提出，而非直接向工厂提出。不过，由于你实际在工厂工作，与工厂的沟通也是必要的。
针对你的情况，以下是一些具体的建议：
与劳务派遣公司沟通：
- 首先，你应该与劳务派遣公司进行沟通，明确表达你的离职意愿，并了解离职的具体流程和所需手续。
- 根据《中华人民共和国劳动合同法》的规定，劳动者提前三十日以书面形式通知用人单位，可以解除劳动合同。在试用期内，劳动者提前三日通知用人单位，可以解除劳动合同。由于你签订的是三个月的合同，若仍在试用期内，则提前三日通知即可；若已过试用期，则需提前三十日通知。但考虑到你的合同期限较短，且情况特殊，你可以尝试与劳务派遣公司协商缩短通知期。
与工厂沟通：
- 同时，你也应该与工厂进行沟通，说明你的离职意愿和原因，争取工厂的理解和支持。
- 工厂无权阻止你离职，因为你的劳动关系是与劳务派遣公司建立的。如果工厂坚持不让你走，你可以要求劳务派遣公司出面协调。
依法维护自己的权益：
- 如果与劳务派遣公司和工厂的沟通均无果，你可以依法维护自己的权益。
- 根据《中华人民共和国劳动合同法》的规定，用人单位违反法律规定解除或者终止劳动合同的，应当依照法律规定的经济补偿标准的二倍向劳动者支付赔偿金。但在此情况下，是你主动提出离职，所以不涉及赔偿金的问题。不过，如果工厂因此扣发你的工资或者拒绝为你办理离职手续（如出具离职证明、转移社保关系等），则构成了违法行为。
- 你可以向当地的劳动监察部门投诉，或者申请劳动仲裁，要求工厂支付被扣发的工资、办理离职手续，并可能要求支付因未及时办理离职手续而造成的损失（如新工作机会的丧失等）。
特殊情况处理：
- 如果你的合同中有特别约定（如提前离职需支付违约金等），则需要按照合同约定执行。但根据《中华人民共和国劳动合同法》的规定，除服务期和竞业限制约定外，用人单位不得与劳动者约定由劳动者承担违约金。因此，如果合同中的违约金条款违反了法律规定，则该条款无效。
后续行动建议：
- 在与劳务派遣公司和工厂沟通的过程中，务必保留好相关证据（如书面通知、聊天记录、录音等），以备不时之需。
- 如果决定通过法律途径维护自己的权益，建议咨询专业律师（当然，你可以直接向我咨询），以便更好地了解自己的权利和义务，以及可能的法律后果。
总之，你有权依法解除劳动合同并离职。如果工厂因此扣发工资或拒绝办理离职手续，你可以通过法律途径维护自己的权益。