照顾老人的人取的钱并不都能算作遗产，这取决于取钱的具体情况、老人的意愿以及相关法律规定。以下从几个不同角度进行分析：
如果取钱行为是基于老人的明确授权或遗嘱：
- 在这种情况下，照顾老人的人取钱通常是按照老人的意愿进行的，比如老人可能通过遗嘱指定了照顾自己的人为遗产继承人，或者通过授权书允许其代为管理财产。如果取钱行为符合遗嘱或授权书的规定，那么这部分钱款在老人去世后，可以视为遗产的一部分，按照遗嘱或法定继承程序进行分配。
如果取钱行为未经老人同意或超出授权范围：
- 如果照顾老人的人未经老人同意，擅自取走老人的钱款，或者虽然得到授权但取款金额超出了授权范围，那么这部分钱款就不能算作遗产。相反，这可能构成侵占或盗窃行为，需要承担相应的法律责任。在这种情况下，老人或其合法继承人可以通过法律途径追回被取走的钱款。
如果取钱行为是为了老人的利益且得到事后认可：
- 有时候，照顾老人的人可能出于紧急情况或为了老人的利益而取走钱款，比如支付医疗费用、生活费用等。如果事后老人或其合法继承人认可这种行为，并且这部分钱款确实用于了老人的利益，那么这部分钱款在老人去世后，也可以视为遗产的一部分。但这种情况需要具体的证据来支持，比如医疗费用发票、生活费用支出记录等。
关于遗产的认定和分配：
- 遗产的认定和分配是一个复杂的法律过程，需要考虑到多种因素，如遗嘱的存在与否、法定继承人的范围、遗产的种类和数量等。在照顾老人的人取钱的情况下，如果这部分钱款被认定为遗产，那么就需要按照法定继承程序进行分配。如果老人有遗嘱，则按照遗嘱进行分配；如果没有遗嘱，则按照法定继承顺序进行分配。
法律建议：
- 对于照顾老人的人来说，如果需要取走老人的钱款，最好事先得到老人的明确授权或遗嘱指定，并保留好相关证据。
- 如果老人已经去世，且存在遗产分配纠纷，建议及时咨询专业律师，了解自己的权利和义务，并按照法律程序进行遗产分配。
- 在任何情况下，都应尊重老人的意愿和财产权益，避免擅自取走或侵占老人的钱款。
可能后果：
- 如果照顾老人的人擅自取走或侵占老人的钱款，可能面临法律责任，包括民事赔偿和刑事处罚。
- 如果遗产分配过程中存在纠纷或争议，可能导致家庭关系紧张甚至破裂，因此建议通过和平、协商的方式解决遗产分配问题。