结论：虽然没有签订书面协议，但您仍可能通过其他证据证明双方存在事实上的合同关系，并据此追究工厂的责任。以下是从不同角度给出的分析和建议。
一、事实合同关系的认定
口头协议与事实行为：
- 即便没有书面协议，如果双方通过口头约定或实际行为（如工厂接受您的订单并开始生产）形成了事实上的合同关系，那么这种关系同样受法律保护。
- 您需要收集能够证明双方存在口头约定或事实行为的证据，如聊天记录、邮件往来、付款凭证、工厂生产记录等。
行业惯例与交易习惯：
- 在某些行业中，可能存在未签订书面合同但双方均按照行业惯例或交易习惯履行义务的情况。
- 如果您能证明该行业或交易中存在此类惯例或习惯，并且工厂违反了这些惯例或习惯导致您受损，那么您也可能据此追究工厂的责任。
二、工厂的责任与赔偿
违约责任：
- 如果工厂未能按照约定（无论是口头还是事实行为）按时交货，且该违约行为导致了您的损失，那么工厂应承担违约责任。
- 您可以要求工厂继续履行交货义务（如果可能的话），或者要求工厂赔偿您因违约而遭受的损失，如额外采购的成本、生产停滞的损失、客户流失的损失等。
赔偿范围的确定：
- 赔偿范围应包括您因工厂违约而直接遭受的损失，以及因该损失而间接导致的其他损失。
- 您需要提供充分的证据来证明这些损失的存在和金额，如采购合同、发票、生产记录、客户订单等。
三、维权途径与建议
协商与调解：
- 首先，您可以尝试与工厂进行协商，看是否能够达成和解协议，明确双方的权利和义务，以及工厂应承担的赔偿责任。
- 如果协商无果，您可以考虑寻求第三方调解机构的帮助，如行业协会、消费者保护组织等。
诉讼与仲裁：
- 如果协商和调解均无法解决问题，您可以考虑通过诉讼或仲裁的方式来解决纠纷。
- 在提起诉讼或仲裁前，您需要准备好充分的证据来支持您的主张，如上述提到的聊天记录、邮件往来、付款凭证、工厂生产记录等。
- 同时，您还需要注意诉讼时效的问题，确保在法定的诉讼时效期间内提起诉讼或仲裁。
法律文书的准备：
- 在维权过程中，您可能需要准备一些法律文书，如起诉状、仲裁申请书、证据清单等。
- 这些文书应详细、准确地陈述您的事实和理由，以及您的诉讼请求或仲裁请求。
四、预防措施与建议
签订书面合同：
- 为了避免类似的纠纷再次发生，建议您在未来的交易中尽量签订书面合同，明确双方的权利和义务、交货时间、违约责任等条款。
保留证据：
- 在交易过程中，您应保留好所有与交易相关的证据，如聊天记录、邮件往来、付款凭证、生产记录等。
- 这些证据在发生纠纷时可能成为您维权的关键。
定期沟通与确认：
- 在交易过程中，您应定期与工厂进行沟通，确认生产进度和交货时间等关键信息。
- 如果发现工厂存在违约风险或可能无法按时交货的情况，您应及时采取措施来降低损失。
最后，虽然您没有与工厂签订书面协议，但您仍可能通过其他证据证明双方存在事实上的合同关系，并据此追究工厂的责任。如果您在维权过程中遇到任何困难或疑问，可以直接向我咨询，我会尽力为您提供帮助。