房屋买卖合同被判决无效后，被告一直不退钱，原告不可以不搬离房屋。以下是详细的分析：

法律背景

当房屋买卖合同被法院判决无效时，该合同自始没有法律约束力。这意味着，基于该合同所取得的财产应当予以返还，即买方应退还房屋，卖方应退还购房款。

具体分析

1. 合同无效的法律后果：

   • 合同无效意味着双方当事人不再受合同条款的约束。
   • 买方无权继续占有使用该房屋，因为占有使用的权利是基于有效的合同而产生的。

2. 买方的义务：

   • 在合同被判决无效后，买方有义务将房屋退还给卖方。
   • 如果买方拒绝搬离，将构成对卖方财产权的侵犯，卖方有权要求买方搬离并赔偿因此造成的损失。

3. 卖方的义务：

   • 卖方在合同无效后应退还买方已支付的购房款。
   • 如果卖方拒绝退款，买方可以通过法律途径要求卖方履行退款义务。

4. 不退钱与不搬离的关系：

   • 买方不能因为卖方未退款而拒绝搬离房屋。
   • 两者是独立的法律义务，不能相互抵消或作为抗辩理由。

法律建议

1. 买方应尽快搬离房屋：以避免因侵犯卖方财产权而承担法律责任。
2. 通过法律途径追讨购房款：如果卖方拒绝退款，买方可以向法院提起诉讼或申请强制执行，要求卖方履行退款义务。
3. 保留相关证据：买方应保留好购房合同、付款凭证等相关证据，以便在后续的法律纠纷中维护自己的合法权益。

综上所述，房屋买卖合同被判决无效后，被告一直不退钱并不能成为原告不搬离房屋的理由。原告应尽快搬离房屋，并通过法律途径追讨购房款。