结论：您有权决定是否继续将土地承包给他人用于建厂房，但具体能否实现“不想承包”的意愿，需结合承包合同条款、土地性质及用途、法定解除权行使条件等因素综合判断。以下分情况说明：

1. 若承包合同未签订或未生效

若您与承包方尚未签订书面承包合同，或合同尚未生效（如未满足法定形式要件、未办理审批手续等），您可直接拒绝签订或要求终止合作，无需承担违约责任。但需注意：

• 若承包方已实际投入（如平整土地、设计厂房等），可能需根据公平原则补偿其合理损失；
• 若土地性质为农用地，未经依法批准转为建设用地，承包行为可能因违反《土地管理法》第44条而无效，您有权拒绝继续履行。

2. 若承包合同已签订且有效

若合同已成立并生效，您能否单方解除合同需分情形讨论：

• 协商解除：您可与承包方协商一致解除合同，并就已履行部分（如已支付的承包费、已建设的厂房）协商补偿或赔偿方案。
• 法定解除权：若承包方存在以下情形，您可依据《民法典》第563条行使法定解除权：
  • 未按约定用途使用土地（如擅自改变厂房用途）；
  • 未按约定支付承包费；
  • 严重违反土地管理法规（如未办理建设用地审批手续）；
  • 致使合同目的无法实现的其他情形（如厂房建设存在重大安全隐患）。 注意：行使法定解除权需书面通知对方，并保留通知送达的证据（如邮寄回执、短信记录等）。
• 约定解除权：若合同中明确约定了您在特定条件下的解除权（如“甲方有权在承包方逾期支付费用超30日时解除合同”），您可直接依据合同条款解除。

3. 若土地性质为农用地且未获批建设

根据《土地管理法》第44条，将农用地转为建设用地需依法办理审批手续。若承包方未取得审批即开工建设，您作为土地所有权人或使用权人：

• 有权要求承包方停止违法行为、恢复土地原状；
• 可向当地自然资源主管部门举报，由行政部门责令限期改正或处罚；
• 若因承包方违法行为导致您承担行政责任（如罚款），您可向承包方追偿。

4. 风险提示与建议

• 合同审查：建议先审查承包合同条款，明确双方权利义务、解除条件及违约责任；
• 证据固定：若承包方存在违约行为，及时固定证据（如照片、视频、沟通记录等）；
• 协商优先：尽量通过协商解决争议，避免诉讼成本；
• 法律程序：若协商无果，可依法向法院起诉或申请仲裁（需合同中有仲裁条款）。

总结：您能否“不想承包”需结合合同状态、承包方行为及土地性质综合判断。若需进一步分析具体合同条款或协助处理争议，可直接向我咨询，我将结合您的实际情况提供详细方案。