可以解除劳动关系。针对您的情况，以下从不同角度进行分析：
一、劳动关系认定与解除依据
劳动关系认定：
- 您通过劳务公司进厂工作，虽然未与工厂直接签订劳动合同，但根据《劳动和社会保障部关于确立劳动关系有关事项的通知》的相关规定，如果具备“用人单位和劳动者符合法律、法规规定的主体资格；用人单位依法制定的各项劳动规章制度适用于劳动者，劳动者受用人单位的劳动管理，从事用人单位安排的有报酬的劳动；劳动者提供的劳动是用人单位业务的组成部分”等条件，可以认定您与工厂之间存在事实劳动关系。
解除劳动关系依据：
- 根据《中华人民共和国劳动合同法》第三十八条，用人单位有下列情形之一的，劳动者可以解除劳动合同：（一）未按照劳动合同约定提供劳动保护或者劳动条件的；（二）未及时足额支付劳动报酬的；（三）未依法为劳动者缴纳社会保险费的；（四）用人单位的规章制度违反法律、法规的规定，损害劳动者权益的；（五）因本法第二十六条第一款规定的情形致使劳动合同无效的；（六）法律、行政法规规定劳动者可以解除劳动合同的其他情形。
- 在您的情况下，工厂老是放假，可能构成未按照劳动合同约定提供劳动条件（若存在事实劳动关系且劳动合同中有相关约定）或未及时足额支付劳动报酬（若放假导致工资减少或未支付）的情形，因此您有权解除劳动关系。
二、解除劳动关系的程序与注意事项
解除程序：
- 您应当提前通知工厂或劳务公司，表明解除劳动关系的意愿。如果工厂或劳务公司存在违法行为（如未签订劳动合同、未支付劳动报酬等），您也可以依据法律规定立即解除劳动关系，并要求支付经济补偿金。
注意事项：
- 在解除劳动关系前，建议您收集好与工作相关的证据，如工作证、工资条、考勤记录等，以备后续可能的劳动仲裁或诉讼之用。
- 如果与工厂或劳务公司就解除劳动关系事宜无法达成一致，您可以向当地劳动争议仲裁委员会申请仲裁，要求确认劳动关系、支付未签订劳动合同的双倍工资、经济补偿金等。
三、后续行动建议
与工厂或劳务公司协商：
- 首先尝试与工厂或劳务公司进行协商，看是否能就解除劳动关系、支付经济补偿金等事宜达成一致。
申请劳动仲裁：
- 如果协商无果，您可以向当地劳动争议仲裁委员会申请仲裁，维护自己的合法权益。
咨询专业律师（此处虽为常规建议，但按约束条件调整表述）：
- 在整个过程中，如果您有任何疑问或需要进一步的法律帮助，可以直接向我咨询，我会根据您的具体情况提供专业的法律建议。
综上所述，您有权解除与工厂的劳动关系，并可以依据法律规定要求支付经济补偿金等。在处理过程中，请务必收集好相关证据，并遵循法律程序进行维权。