结论概述：您的情况涉及合同解除及违约责任问题，工厂是否有权追究您的责任，主要取决于合同中的具体约定以及您解除合同的方式和理由。以下从不同角度为您详细分析。

1. 合同中的约定：

   • 违约责任条款：首先，需要查看您与工厂签订的合同中，是否有关于违约责任的具体约定。如果合同中明确规定了，在您单方面解除合同的情况下需要承担的违约责任（如支付违约金、赔偿损失等），那么工厂有权依据合同约定要求您承担相应的责任。
   • 解除合同条款：同时，也要查看合同中是否有关于解除合同的条款。如果合同中规定了双方可以协商解除合同，或者在某些特定条件下可以单方面解除合同，且您的情况符合这些条件，那么您解除合同的行为可能不构成违约，工厂也就无权追究您的责任。

2. 您解除合同的方式和理由：

   • 协商解除：如果您与工厂协商一致解除合同，且双方对解除后的权利义务没有争议，那么工厂通常不会追究您的责任。
   • 单方面解除：如果您未经工厂同意，单方面决定解除合同，且没有合同约定的解除条件或法定解除事由作为依据，那么您的行为可能构成违约。在这种情况下，工厂有权要求您承担违约责任，包括但不限于支付违约金、赔偿因您违约给工厂造成的损失等。
   • 法定解除事由：根据《民法典》的相关规定，如果存在不可抗力、对方严重违约等法定解除事由，您可以单方面解除合同，且不承担违约责任。但您需要提供充分的证据证明存在这些法定事由。

3. 工厂已支付款项的处理：

   • 如果您与工厂之间的合同已经部分履行（如您已经收到了工厂支付的16万元），且您决定解除合同，那么双方需要就已履行部分进行结算。根据合同约定和实际情况，您可能需要返还工厂已支付的部分款项，或者工厂可能需要向您支付剩余应付款项。但这一处理并不影响工厂对您违约责任的追究（如果存在违约情况的话）。

4. 建议与行动：

   • 审查合同：建议您首先仔细审查与工厂签订的合同，了解其中的违约责任条款和解除合同条款。
   • 与工厂协商：尝试与工厂进行友好协商，就合同解除及后续事宜达成一致意见。如果能够协商一致，可以签订书面协议以明确双方的权利义务。
   • 寻求法律帮助：如果您与工厂无法协商一致，或者工厂坚持要求您承担违约责任而您认为不合理，建议您寻求专业的法律帮助。我可以根据您的具体情况，为您提供更详细的法律建议和帮助。

总结与进一步思考：工厂是否有权追究您的责任，取决于合同中的具体约定以及您解除合同的方式和理由。在处理此类问题时，建议您保持冷静、理性，并寻求专业的法律帮助以维护自己的合法权益。如果您有任何疑问或需要进一步的法律咨询，请随时向我提问。