针对您的情况，首先明确结论：您现在应该根据具体情况，确定是找劳务公司还是工厂来承担责任，或者两者都需要涉及。 以下是从不同角度进行的分析：
一、劳务派遣关系下的责任划分
劳务派遣期间的责任：
- 在劳务派遣期间，您与劳务公司签订劳动合同，被派遣至工厂工作。此时，若发生工伤或其他工作相关的问题，原则上应由劳务公司承担相应责任，因为劳务公司是您的用人单位。
- 但若问题是由于工厂的过错或疏忽导致的，工厂也可能需要承担一定的连带责任。
劳务派遣关系终止后的责任：
- 既然劳务公司已经通知您与工厂不合作了，这意味着劳务派遣关系可能已经终止。在此情况下，如果您自行前往工厂上班并发生问题，情况就变得复杂了。
- 如果您与工厂之间并未建立新的劳动关系（即未签订劳动合同），那么工厂可能不承担直接的用人单位责任。但如果您在工厂工作期间受到伤害，且工厂存在过错，您仍可能基于侵权责任向工厂主张赔偿。
二、您自行前往工厂上班的性质
- 如果您在劳务派遣关系终止后，未经工厂正式录用或签订劳动合同就自行前往上班，这可能被视为一种非正式的、临时的或甚至是非法的劳动行为。
- 在这种情况下，如果您发生问题（如工伤），您可能难以直接依据劳动合同法向工厂主张权利。但您仍可能基于侵权责任法或其他相关法律规定，向工厂或相关责任方主张赔偿。
三、建议与行动步骤
收集证据：
- 无论您选择向谁主张权利，首先都需要收集相关证据，如工作记录、受伤证明、医疗费用单据等。
与劳务公司沟通：
- 了解劳务公司对于您当前情况的看法和态度，看他们是否愿意提供一定的帮助或支持。
与工厂协商：
- 尝试与工厂进行协商，看他们是否愿意承担一定的责任或提供赔偿。
寻求法律援助：
- 如果协商无果，您可以考虑寻求法律援助或咨询专业律师（比如我），以了解您的具体权利和可行的维权途径。
考虑法律途径：
- 根据具体情况，您可能需要通过劳动仲裁、民事诉讼等法律途径来维护自己的权益。
最后需要强调的是，由于您的情况比较复杂，涉及劳务派遣关系的终止、自行前往工厂上班的性质以及可能存在的侵权责任等多个方面，因此建议您尽快咨询专业律师（比如我），以便得到更具体、更准确的法律建议和指导。如果您有任何法律问题或需要进一步的帮助，请随时向我咨询。