结论前置：不可以不还。无论公司是否存在，只要存在真实的货物交易且货物已交付，接收货物的一方就有义务支付相应的货款，这是基于合同关系和法律规定所产生的义务。以下从不同角度为你详细分析：

从合同关系角度

在商业交易中，当一方（卖方）向另一方（买方）交付货物时，双方之间就形成了一种合同关系，这种合同关系可以是书面的买卖合同，也可以是口头的约定。根据《中华人民共和国民法典》中关于合同的规定，依法成立的合同，对当事人具有法律约束力。当事人应当按照约定履行自己的义务，不得擅自变更或者解除合同。

例如，A公司向B公司供应了一批原材料，虽然没有签订书面的买卖合同，但A公司已经将原材料交付给了B公司，B公司也接收并使用了这些原材料，那么双方之间就形成了事实上的买卖合同关系。B公司就有义务按照市场价格或者双方约定的价格向A公司支付货款。如果B公司以A公司“不存在”为由拒绝支付货款，这是违反合同约定的行为，A公司有权通过法律途径要求B公司支付货款及可能产生的违约金等。

从债权债务关系角度

当货物交付后，卖方就享有要求买方支付货款的债权，而买方则负有支付货款的债务。这种债权债务关系是受法律保护的。即使卖方公司因为某些原因（如注销、破产等）不存在了，但只要债权在法律规定的诉讼时效内，卖方的合法继承人或者相关权利承接人仍然可以依据债权向买方主张权利。

比如，C公司向D公司销售了一批产品，之后C公司因经营不善注销了。但C公司在注销前已经将产品的所有权转移给了D公司，D公司也实际接收并使用了产品。此时，C公司对D公司享有要求支付货款的债权。如果C公司注销后，其债权由股东或者其他合法继承人承接，那么承接人就可以向D公司主张这笔货款。

从法律后果角度

如果买方拒绝支付货款，卖方可以通过多种法律途径来维护自己的权益。卖方可以先与买方进行协商，尝试通过友好协商的方式解决纠纷，要求买方支付货款。如果协商无果，卖方可以向人民法院提起诉讼，要求买方履行支付货款的义务，并承担因逾期支付货款而产生的利息、违约金等费用。在诉讼过程中，卖方需要提供相关的证据，如货物交付凭证、双方之间的沟通记录等，以证明双方之间存在货物交易以及买方未支付货款的事实。

如果法院判决买方支付货款，但买方仍然拒不履行判决，卖方可以向法院申请强制执行。法院可以采取多种强制执行措施，如查询、冻结、划拨买方的银行存款，查封、扣押、拍卖买方的财产等，以保障卖方的合法权益得到实现。

建议：如果你遇到了类似的情况，无论是作为卖方担心货款无法收回，还是作为买方对货款支付存在疑问，都可以直接向我咨询，我会根据你的具体情况为你提供详细的法律分析和解决方案。