核心结论：遇到货已拉到厂里但货款被中间人拿走的情况，您可以通过协商、民事诉讼、刑事报案（如涉及诈骗）等途径来维护自身权益，具体选择取决于中间人的行为性质和您的证据情况。以下是详细分析：

1. 尝试与中间人协商
   首先，您可以尝试与中间人直接沟通，了解其拿走货款的具体原因（例如是否误转、资金周转问题等）。若中间人承认欠款但暂时无力偿还，可要求其出具书面还款计划，并明确还款期限和方式。若协商成功，建议签订书面协议并留存证据，避免后续纠纷。

2. 收集证据，准备民事诉讼
   若协商无果，您需收集以下证据，向法院提起民事诉讼（合同纠纷或不当得利纠纷）：

   • 合同或协议：证明您与中间人、工厂之间的交易关系（如买卖合同、委托运输协议等）；
     
   • 交货凭证：如送货单、签收单、物流记录等，证明货物已按约定交付；
     
   • 付款记录：如银行转账记录、收据等，证明货款本应由您收取却被中间人截留；
     
   • 沟通记录：如微信、短信、邮件等，证明您曾向中间人追讨货款。
     诉讼目标：要求中间人返还货款，并赔偿因逾期付款造成的损失（如利息、维权费用等）。

3. 评估是否构成刑事犯罪
   若中间人拿走货款的行为涉嫌诈骗（如虚构事实、隐瞒真相，骗取您交付货物后拒不付款），您可向公安机关报案，追究其刑事责任。需注意：

   • 诈骗构成要件：中间人需存在非法占有目的，且通过欺骗手段使您陷入错误认识并处分财产；
     
   • 证据要求：除民事证据外，还需证明中间人存在虚构身份、伪造文件等欺骗行为。
     刑事报案的意义：若立案成功，公安机关会介入调查，可能追回货款并处罚中间人。

4. 向工厂主张权利（备选方案）
   若工厂未履行付款义务（如未向您支付货款却允许中间人取走），您可要求工厂承担违约责任。但需注意：

   • 若工厂已按中间人指示付款（如中间人持有您的授权委托书），工厂可能无需重复付款；
     
   • 若工厂存在过错（如未核实中间人权限），您可主张其赔偿损失。

行动建议：

1. 立即停止与中间人的口头协商，转而通过书面方式（如律师函）催告还款；
   
2. 整理所有证据，咨询律师评估诉讼或报案的可行性；
   
3. 若中间人失联或拒不配合，优先选择民事诉讼，同时向公安机关报案（双重途径增加维权成功率）。
   

温馨提示：此类纠纷中，证据的完整性和时效性至关重要。建议您尽快行动，避免因中间人转移财产或证据灭失导致维权困难。如有进一步疑问，可直接向我咨询具体操作步骤。