结论：老人过世后取款4万元，不一定需要全部继承人到银行，具体取决于银行规定、继承人之间协商情况以及是否已办理继承权公证或诉讼程序。以下分情况详细说明：

1. 银行规定与操作流程
   不同银行对已故存款人取款的规定存在差异。部分银行可能要求全部继承人到场，并携带身份证、死亡证明、亲属关系证明等材料，共同签署取款协议；也有银行允许部分继承人代办，但需提供其他继承人授权委托书或公证文件。建议提前联系开户银行，确认其具体要求。

2. 继承人协商一致的情况
   若所有继承人协商一致，可共同到公证处办理继承权公证书，明确遗产分配方案。持公证书到银行，通常只需一名或数名继承人代为办理取款手续（具体以银行要求为准）。若继承人之间存在争议，需先通过诉讼或调解解决继承问题，再凭法院判决书或调解书办理取款。

3. 小额存款简化提取程序
   根据《中国银保监会办公厅 司法部办公厅关于简化查询已故存款人存款相关事项的通知》，若存款金额不超过5万元（部分银行可能调整为1万元），继承人可凭死亡证明、亲属关系证明、本人身份证等材料，直接向银行申请提取，无需办理继承权公证。但需注意：

   • 部分银行可能要求全部继承人到场签署承诺书；
     
   • 若继承人之间存在争议，银行可能拒绝简化提取，要求通过公证或诉讼程序处理。

4. 特殊情况处理

   • 若老人留有遗嘱且合法有效，继承人需先确认遗嘱真实性，再按遗嘱分配遗产。若其他继承人对遗嘱有异议，需通过诉讼确认效力。
     
   • 若老人存款涉及共同财产（如与配偶共有），需先分割共同财产部分，再对属于老人的份额进行继承。

建议：

1. 优先联系银行，了解其具体要求；
   
2. 若继承人之间无争议，可共同办理继承权公证或简化提取；
   
3. 若存在争议，建议通过协商、调解或诉讼解决继承问题，再凭法律文书办理取款。
   

如有其他疑问，欢迎继续向我咨询。