结论：关于您母亲生前给的存单密码，在她去世后您去取款是否算作遗产的问题，这主要取决于您取款时的具体情况以及您母亲是否留下了有效的遗嘱。以下是从不同角度的详细分析：
若您母亲未留下遗嘱，且您取款时未办理继承手续：
- 在这种情况下，即使您知道存单密码，直接去银行取款可能会遇到障碍。因为银行在处理大额存款或存款人去世后的取款时，通常会要求提供继承权证明书或法院的判决书、调解书等文件，以确认取款人的合法身份和继承权。
- 如果您未经合法继承程序直接取款，这笔钱在法律上可能仍被视为您母亲的遗产。若后续有其他继承人提出异议，您可能需要通过法律途径解决继承纠纷，甚至可能面临返还已取款项的风险。
若您母亲留下了有效遗嘱，且遗嘱中明确指定了您为继承人：
- 在这种情况下，您作为遗嘱指定的继承人，有权继承您母亲的存款。但即便如此，为了顺利办理取款手续，您可能仍然需要提供遗嘱、死亡证明、继承权证明书等文件给银行。
- 如果您已经按照遗嘱和法律规定办理了继承手续，并获得了继承权证明书，那么您使用密码取款的行为就是合法的，这笔钱也不再属于遗产范畴，而是您的个人财产。
关于取款行为的法律性质：
- 无论您母亲是否留下遗嘱，如果您在她去世后未经合法继承程序直接取款，且该行为被其他继承人或相关方知晓并提出异议，那么您的行为可能构成对遗产的不当处分。
- 在法律上，遗产的继承需要遵循法定的程序和规则，以确保所有继承人的合法权益得到保护。因此，即使您知道存单密码，也最好在办理完继承手续后再进行取款操作。
法律建议：
- 为了避免不必要的法律纠纷和风险，建议您在母亲去世后，先咨询专业的律师或法律机构，了解继承程序和法律规定。
- 根据律师或法律机构的指导，办理继承权证明书或其他必要的法律文件。
- 在获得合法的继承权证明后，再携带相关文件和存单密码去银行办理取款手续。
可能的后果：
- 如果您未经合法继承程序直接取款，且被其他继承人或相关方提出异议，您可能需要通过法律途径解决继承纠纷。
- 在纠纷解决过程中，您可能需要承担举证责任，证明自己的取款行为是合法的。如果无法提供充分的证据，您可能面临返还已取款项、支付违约金或赔偿损失等法律责任。
总之，处理母亲去世后的存款问题需要谨慎对待，遵循法律程序和规则，以确保自己的合法权益得到保护。如果您有任何疑问或需要进一步的法律帮助，请随时向我咨询。