不能直接把货拉回来。在商业交易中，遇到对方不给钱的情况，是否能拉回货物要根据具体情况判断，以下是一些具体的分析和建议：
有明确付款提货约定：
- 如果双方事先明确约定付款后才能提货，当对方没给钱时，擅自拉回货物属于违约行为，会给自己带来法律风险。
无约定且满足特定条件：
- 若没有付款后提货的约定，且对方存在根本违约等严重情况，导致合同目的无法达成，这时可以考虑行使不安抗辩权或同时履行抗辩权。但在拉回货物前，必须先通知对方，并保留好相关证据（如合同约定、对方违约的证明等），这些证据在后续可能会起到关键作用。
所有权保留的约定：
- 如果双方在合同中约定了出卖人保留所有权，那么在买受人拖欠货款时，出卖人是有权将货物拉回的。因为此时尽管货物已经交付，但所有权并未转移，出卖人仍保留对货物的控制权。
协商与法律途径：
- 如果和对方协商不成，建议通过法律途径解决。可以向法院起诉，要求对方履行付款义务，或者解除合同并承担相应责任。在诉讼过程中，还可以申请财产保全，防止对方转移财产，以此保障自己的权益。
综上所述，面对对方不给钱的情况，不能直接擅自拉回货物。而应该根据双方的具体约定和实际情况，采取合适的法律措施来维护自己的权益。如果你有具体的合同或相关证据，可以进一步向我咨询，我会为你提供更详细的法律建议。