结论：夫妻一方过世后，另一方不能直接按简化程序不做公证取出过世一方的5万元存款及利息。需要按照法定继承程序办理相关手续后，方可提取存款。

详细分析：

1. 继承权的确认：

   • 根据《中华人民共和国民法典》的相关规定，继承开始后，首先按照法定继承办理；若存在遗嘱，则按照遗嘱继承或者遗赠办理。在夫妻一方过世的情况下，其存款作为遗产的一部分，将依据法定继承或遗嘱继承进行处理。
   • 法定继承中，第一顺序继承人包括配偶、子女、父母。因此，过世一方的配偶作为第一顺序继承人，有权继承其遗产，包括存款。

2. 银行存款的继承程序：

   • 为了证明自己的继承权并提取存款，继承人（即过世一方的配偶）需要向当地公证处申请办理继承权证明书，或者通过法院出具判决文件。这些文件将详细载明是哪家银行的账户、账号、余额以及由谁继承，银行将凭此办理过户或支付手续。
   • 简化程序并不适用：在一般情况下，即使存款金额不大（如5万元），也不能直接按简化程序不做公证取出。因为银行需要确保存款的合法继承，避免潜在的法律纠纷。

3. 特殊情况的处理：

   • 如果过世一方在生前立有遗嘱，并且遗嘱中明确指定了存款的继承人或处理方式，那么应当按照遗嘱执行。但即便如此，也可能需要办理相关的继承手续，如遗嘱公证等，以确保遗嘱的合法性和有效性。
   • 如果继承人之间对遗产分配存在争议，或者无法直接办理继承手续（如继承人居住在国外等），可能需要通过法律途径解决争议或办理相关手续。

4. 实际操作建议：

   • 作为过世一方的配偶，您应首先与其他继承人（如子女、父母等）协商确定遗产的分配方案。
   • 然后，携带相关证明材料（如死亡证明、亲属关系证明、遗嘱等）到当地公证处申请办理继承权证明书。
   • 最后，凭继承权证明书到银行办理存款的过户或提取手续。

总结与建议： 夫妻一方过世后，其存款的继承需要遵循法定程序或遗嘱程序进行。作为配偶，您不能直接按简化程序不做公证取出存款及利息。为了确保遗产的合法继承和避免潜在的法律纠纷，建议您按照上述步骤办理相关手续。如果您在办理过程中遇到任何问题或需要进一步的法律帮助，请随时向我咨询。