在用户提到的这种情况下，如果老人去世之前没有将银行卡密码告知家人，家人确实有可能通过办理继承公证来取出这笔钱。以下是具体的步骤和需要准备的材料：
首先，您需要前往当地的公证处申请继承公证。在此过程中，您需要提供以下材料：
被继承者（即去世的老人）的死亡证明或注销证明。这份证明通常由医院或派出所开具，用以证实被继承者已经去世。
如果被继承者的父母已经去世，您需要提供他们的死亡证明或注销证明，或者拍摄墓碑照片作为证明。
亲属关系表，这份表格通常由村委会、居委会或者被继承者生前所在单位出具并盖章，用以证明继承人与被继承人之间的关系。
所有继承人的户口本原件和身份证原件。这些证件是确认继承人身份的重要依据。
银行卡或存折，并尽可能了解其中的具体数额。如果不清楚具体数额，您可以携带被继承人的死亡证明或注销证明前往公证处开具查询函，然后到银行查询。
如果被继承人生前有工作单位，您还需要提供被继承人的人事档案社会关系页。
在准备好上述材料并成功办理继承公证后，继承人就可以携带公证书前往银行取出被继承人的存款了。
请注意，整个过程中可能会遇到一些具体的问题和困难，例如材料的准备、公证的办理等。如果遇到问题，建议您及时咨询当地的公证处或银行，以获取更详细和专业的指导。