针对您提出的问题，即已故人士银行卡里有5000多块钱但不知道密码，第二继承人是否需要公证，以下是我为您提供的详细解答：

首先，我们需要明确的是，当某人过世后，其银行卡内的资金属于遗产范畴。若合法继承人不知道银行卡密码，需要按照法律程序来处理这笔遗产。

一、关于继承人身份与遗产处理

根据《中华人民共和国民法典》的相关规定，遗产的继承通常按照法定继承办理，若存在遗嘱则按照遗嘱继承或遗赠办理。在您的情况下，作为第二继承人，您需要确认自己是否属于法定继承人范围，并了解其他继承人的情况。

二、关于公证的必要性

1. 继承公证的作用：

   • 继承公证是确认继承人身份和继承合法性的重要法律程序。
   • 公证处会对继承人的身份、继承的合法性等进行严格审查，并出具继承公证书。
   • 继承公证书是银行办理后续业务（如取款、销户）的重要依据。

2. 第二继承人是否需要公证：

   • 无论您是第一继承人还是第二继承人，只要您希望合法继承银行卡内的资金，都需要办理继承公证。
   • 继承公证可以确保您的继承权得到法律认可，避免后续纠纷。

三、办理继承公证的步骤

1. 收集必要证明文件：

   • 死亡证明：由医疗机构、公安机关或社区（村）委会等基层组织出具。
   • 亲属关系证明：由死者生前所在单位、户籍所在地派出所、社区（村）委会等出具，用于证明您与死者之间的亲属关系。
   • 您的有效身份证件：如身份证、户口本等。

2. 前往公证处办理：

   • 携带上述证明文件及银行卡信息前往当地公证处。
   • 填写继承公证申请表，并提交相关证明文件。
   • 公证处会对您的申请进行审查，并可能要求您提供额外的证明材料或进行面谈。

3. 领取继承公证书：

   • 审查通过后，公证处会出具继承公证书，明确您对死者银行存款的继承份额。

四、后续手续

1. 取款与销户：

   • 携带继承公证书、您的有效身份证件及银行卡到发卡行网点柜台申请取出卡内的余额。
   • 根据需要办理销户手续。

2. 特殊情况处理：

   • 如果继承人之间对遗产继承存在争议，无法办理继承公证，您可以通过向人民法院提起诉讼的方式解决。凭法院生效判决书到银行办理取款等手续。
   • 对于符合条件的小额存款继承（具体标准因银行而异），部分银行可能提供简化办理流程。但在此情况下，由于金额达到5000多元，且您作为第二继承人，建议仍按照正常流程办理继承公证。

五、注意事项

• 具体的办理流程可能因银行和地区的不同而有所差异。在前往银行办理手续前，建议您先咨询银行或律师以获取准确的信息和指导。
• 对于大额遗产或复杂的继承关系，建议您寻求专业律师的帮助，以确保遗产处理的合法性和公平性。

综上所述，作为第二继承人，您需要办理继承公证来合法继承银行卡内的资金。希望以上解答能对您有所帮助。如有任何疑问或需要进一步的帮助，请随时咨询。