遗产不一定算夫妻共同财产，具体要看遗产的继承方式和遗嘱内容。

1. 如果遗嘱未特别指明：根据《民法典》的规定，夫妻在婚姻关系存续期间所得的继承财产，除非遗嘱或赠与合同中确定只归一方所有，否则应视为夫妻的共同财产。也就是说，如果遗嘱没有明确表示遗产只归夫妻中的一方，那么该遗产就属于夫妻共同财产。例如，张三和李四是夫妻，张三的父亲去世且未留遗嘱，张三继承了父亲的房产，则该房产属于张三和李四的夫妻共同财产。

2. 如果遗嘱特别指明：如果被继承人在遗嘱中明确表示遗产只归夫妻中的一方所有，那么该遗产就属于这一方的个人财产，而不是夫妻共同财产。例如，王五和赵六是夫妻，王五的母亲立下遗嘱，明确指出其名下的存款仅由王五个人继承，那么这套存款就属于王五个人的财产，与赵六无关。

此外，还有一些特殊情况需要注意，比如婚前继承的遗产通常属于个人财产，除非夫妻双方有特别约定。在处理遗产归属问题时，建议仔细审查遗嘱内容，并考虑婚姻关系存续期间的共同财产原则。如有任何疑问或需要进一步的法律帮助，请直接向我咨询。