结论：老人过世后，即使家人知道其银行卡密码，卡内的钱也通常算作遗产。不过，也存在一些特殊情况，下面我会从多个角度为你详细分析。
通常情况：算作遗产
根据法律规定，遗产是自然人死亡时遗留的个人合法财产。银行卡里的存款属于公民个人合法拥有的财产，因此，在老人去世后，其银行卡里的余额依法应作为遗产处理。如果老人去世前没有通过遗嘱或其他形式对财产进行特别安排，那么这部分遗产将由法定继承人继承，或者按照死者生前立下的合法有效遗嘱进行分配。
特殊情况：可能不算遗产
- 资金有明确指定用途：如果银行卡内的资金有明确的指定用途，比如是专门用于某个特定项目的专项资金，并且有相关协议明确约定这部分资金不属于个人可随意处置的财产，那么在这种情况下，该笔资金可能不被视为遗产范畴。
- 地区法律差异：不同地区的具体法律规定可能存在差异。虽然大多数地区都遵循上述的遗产定义和处理原则，但仍有极少数地区可能有特殊规定。因此，在处理这类遗产问题时，需要了解并遵循当地的具体法律规定。
后续处理建议
- 明确继承人身份：首先，需要确认老人的遗产继承人身份。这通常涉及查看老人是否留有遗嘱，或者依据法定继承顺序（配偶、子女、父母等）来确定。
- 准备必要证明文件：
- 死亡证明：必须到当地公安机关开具老人的死亡证明，这是后续办理所有手续的基础法律凭证。
- 亲属关系证明：可由当地社区、村委会或户籍管理部门出具，详细列出老人的所有法定继承人及与老人的关系。此外，户口簿、结婚证或出生证等也可作为辅助证明。
- 提取人身份证件：提供提取人的有效身份证件以验证身份。
- 遗嘱（如有）：若老人留有遗嘱，需提供遗嘱原件及全部法定继承人的身份证件，以便银行确认遗嘱的真实性和合法性。
- 继承人协商与公证：
- 协商分配：所有法定继承人需就存款的分配达成一致意见。可通过自行协商或在必要时寻求人民调解委员会等第三方机构的调解。
- 办理公证：携带身份证、死亡证明、亲属关系证明、遗嘱（如有）等材料，共同前往当地公证机构申请办理继承公证。公证机构审核通过后，会出具公证书，明确各继承人的继承份额。
- 向银行提交申请并取款：
- 提交申请：携带公证书、本人身份证、老人的存折或银行卡以及银行可能要求的其他证明文件，前往老人的开户银行提交取款申请。
- 银行审核与取款：银行会根据提供的材料和内部流程进行审核。审核通过后，按照公证书上确定的继承份额，将相应存款支付给继承人。
注意事项
- 如果继承人之间对存款分配存在争议且无法达成一致，可能需要通过向人民法院提起诉讼的方式解决。凭借法院的生效判决书也可到银行办理取款事宜。
- 整个过程中可能会涉及公证费等费用。因此，在处理时建议咨询我以获取更详细的指导和帮助，确保整个过程的顺利进行。
希望以上分析能对你有所帮助。如果你还有其他关于婚姻家庭领域的法律问题，欢迎直接向我咨询。