结论：中间商是否需要还钱，取决于其与卖家、买家之间的法律关系以及具体合同条款的约定。以下从不同角度进行分析：
中间商与卖家的法律关系
- 合同关系：如果中间商与卖家之间签订了货物买卖合同，且合同中明确约定了交货时间、付款方式等条款，那么卖家不发货也不退款的行为构成违约。在此情况下，中间商有权依据合同要求卖家履行交货义务或退还已支付的款项。如果卖家拒不履行，中间商可以通过法律途径（如起诉）来维护自己的权益，要求卖家承担违约责任，包括赔偿损失等。此时，中间商是否需要“还钱”给买家，取决于中间商与买家之间的合同约定以及中间商是否已从卖家处获得退款或货物。
- 无合同关系或合同无效：如果中间商与卖家之间没有签订书面合同，或者合同因违反法律法规而无效，那么中间商与卖家之间的权利义务关系将难以确定。在此情况下，中间商可能需要通过其他证据（如聊天记录、转账记录等）来证明自己与卖家之间的交易关系，并据此要求卖家承担相应的责任。但这也增加了中间商维权的难度。
中间商与买家的法律关系
- 合同关系：如果中间商与买家之间也签订了货物买卖合同，且合同中明确约定了交货时间、付款方式等条款，那么中间商有义务按照合同约定向买家交付货物。如果卖家不发货导致中间商无法履行对买家的交货义务，中间商可能构成对买家的违约。在此情况下，买家有权要求中间商承担违约责任，包括退还已支付的款项、赔偿损失等。因此，从买家角度出发，中间商是需要“还钱”的。
- 中间商的角色与责任：如果中间商在交易中仅作为介绍人或代理人，并未直接参与货物买卖合同的签订和履行，那么其责任可能相对较轻。但即便如此，如果中间商在介绍或代理过程中存在过错（如故意隐瞒卖家真实情况、误导买家等），也可能需要承担一定的赔偿责任。
特殊情况下的处理
- 表见代理：如果买家有理由相信中间商有权代表卖家签订合同（如中间商持有卖家的授权书、长期从事类似交易等），且买家基于此信任与中间商签订了合同，那么可能构成表见代理。在此情况下，即使卖家实际上并未授权中间商签订合同，中间商也可能需要承担卖家应承担的责任，包括向买家交付货物或退还已支付的款项。
- 善意取得：如果买家在不知情的情况下从中间商处购买了货物，并支付了合理对价，且货物已交付给买家，那么买家可能构成善意取得。在此情况下，即使卖家后来主张货物所有权，买家也有权保留货物，而中间商则可能需要承担向卖家赔偿的责任。
建议：
- 对于中间商而言，应尽快与卖家和买家沟通，明确各方的权利义务关系，并尝试协商解决纠纷。如果协商无果，可以考虑通过法律途径来维护自己的权益。
- 在未来的交易中，中间商应更加谨慎地选择合作伙伴，签订详细的书面合同，并明确约定各方的权利义务关系以及违约责任等条款，以降低交易风险。
如有任何疑问或需要进一步的法律帮助，请直接向我咨询。