是否需要把钱退回去，取决于双方之间的约定以及实际的合同履行情况。

首先，我们要明确这是一个关于合同转让（即转店）的纠纷问题。在合同转让过程中，如果双方已经达成了转让协议，并且买方已经支付了款项，那么原则上这个合同就已经生效了。但是，如果买方在支付款项后反悔，想要退回款项，这就需要根据双方的具体约定以及合同法的相关规定来判断。

1. 如果双方在转让合同中明确约定了退款条款：比如约定了在某种情况下买方可以反悔并要求退款，那么当这种情况出现时，卖方就需要按照合同约定将款项退还给买方。

2. 如果双方没有明确约定退款条款：那么买方反悔并要求退款的行为就可能构成违约。在这种情况下，卖方有权拒绝退款，并可以要求买方继续履行合同或者承担违约责任。当然，如果卖方愿意与买方协商退款事宜，并且双方能够达成一致，那么也是可以退款的。

3. 考虑实际合同履行情况：如果买方已经实际接管了店铺并开始了经营活动，那么即使合同中没有明确约定退款条款，买方反悔并要求退款也会更加困难。因为此时买方已经享受了合同带来的利益，再要求退款就显得不太合理了。

综上所述，是否需要把钱退回去并不是一个简单的问题，而是需要根据双方的具体约定以及实际的合同履行情况来判断。如果双方对此存在争议，建议通过协商或者诉讼等方式来解决。如果你有进一步的法律问题或者需要更具体的法律建议，可以直接向我咨询。