夫妻双方家里的钱并不都算作遗产。要判断夫妻双方的钱是否属于遗产，需要从多个角度进行分析：
一、遗产的定义与条件
根据《中华人民共和国民法典》第一千一百二十二条，遗产是自然人死亡时遗留的个人合法财产。这意味着，要构成遗产，必须满足两个基本条件：一是财产所有人已经去世；二是该财产是其生前的个人合法财产。因此，在夫妻一方尚在世的情况下，其名下的存款（无论是单独所有还是共同所有）均不构成遗产。
二、夫妻共同财产与个人财产的区分
夫妻共同财产：
- 在婚姻关系存续期间，夫妻双方所得的财产一般属于夫妻共同财产，包括但不限于工资、奖金、生产经营的收益、知识产权的收益等。如果存款是在夫妻关系存续期间积累的，即使只登记在一方名下，也通常被视为夫妻共同财产。
- 当夫妻中的一方去世时，属于去世一方的那部分财产份额（如果是夫妻共同财产，则需先分割）将转化为遗产，由其法定继承人或按照其遗嘱进行继承。
夫妻个人财产：
- 夫妻一方的婚前财产，或者根据法律规定明确只属于一方的财产（如因受到人身损害获得的赔偿、遗嘱或赠与合同中确定只归一方的财产等），属于该方的个人财产。
- 当个人财产的所有者去世时，这些财产将全部作为遗产进行分配。
三、具体情境分析
夫妻在世时：
- 夫妻双方的钱，无论是共同财产还是个人财产，只要所有者尚在世，就不构成遗产。这些钱仍然属于所有者或夫妻共同所有，可以自由支配和使用。
夫妻一方去世时：
- 如果去世一方有个人财产，这些财产将全部作为遗产进行分配。
- 如果去世一方有夫妻共同财产中的份额，需要先进行分割，确定属于去世一方的那部分财产，然后再作为遗产进行分配。
四、法律建议
- 明确财产归属：为了避免未来可能出现的财产纠纷，夫妻双方可以在婚前或婚后通过书面协议明确财产的归属和分配方式。
- 立遗嘱规划：如果担心未来可能发生的意外情况，夫妻双方可以通过立遗嘱的方式，明确指定财产的继承人或受益人。这样，在其去世后，财产将按照遗嘱的指示进行分配。
举例说明：
- 假设夫妻婚后共同积攒了100万元存款。如果丈夫去世，这100万元并不能全部作为遗产处理。而是需要先将其平分，其中50万元属于妻子的个人财产，另外50万元才是丈夫的遗产，由丈夫的法定继承人进行继承。
- 如果妻子在结婚前就有20万元的存款，并且能证明是婚前财产，那么这笔存款属于妻子的个人财产。当妻子去世时，这20万元存款将全部作为她的遗产进行分配。
综上所述，夫妻双方家里的钱并不都算作遗产。要判断是否属于遗产，需要根据存款的性质、所有者是否去世以及相关法律法规进行综合分析。如果有任何疑问或需要进一步的法律建议，可以直接向我咨询。