核心结论：一般情况下，因您不小心泄露密码导致存单在手但钱被取走，主要责任在您自身；但如果银行存在违规操作等过错，银行也可能承担相应责任。以下从不同角度进行分析：

自身责任角度

1. 密码保管义务：密码是保障存款安全的重要手段，您有妥善保管密码的义务。根据生活经验及银行取款规则，无论是在柜台上还是在ATM机上办理取款业务，都需持有银行卡（存单类似）并知道银行卡（存单密码对应）的密码。您不小心泄露密码，导致他人能够利用密码取走存款，这属于您未尽到妥善保管密码的义务，应当承担主要责任。
2. 举证责任：如果您认为银行在取款过程中存在过错，需要您提供证据证明。例如，您需要证明银行知晓和泄漏了您的银行卡（存单）信息，或者银行办理案涉取款业务规程违反了相关法律法规或部门规章的规定。如果您不能提供充分证据证明银行存在过错，那么银行不承担责任。就像在嘉禾法院办理的合同纠纷案例中，原告王某认为自己对他人支取款项不知情，客户签名亦并非自己签名，认为自己存的钱被他人取走系被告操作违规之故，但王某对其认为账户内存款被违规取走的主张并未向公安机关报案，该事实未经刑事程序确认，仅有其个人陈述，并无其他证据予以佐证，最终法院未支持其要求银行返还存款本金及利息的诉讼请求。

银行责任角度

1. 违规操作责任：如果银行在办理取款业务时存在违规操作，例如未按照规定的程序进行身份验证、未核实取款人的身份信息等，导致他人能够利用您泄露的密码取走存款，那么银行应当承担相应的责任。在这种情况下，您需要提供证据证明银行的违规操作行为，如银行的监控录像、业务操作记录等。
2. 安全保障义务：银行有保障客户存款安全的义务。如果银行的安全系统存在漏洞，导致您的密码被他人窃取并利用，或者银行未能及时发现和阻止异常取款行为，银行也可能需要承担一定的责任。但同样，您需要提供证据证明银行的安全系统存在问题或者银行存在未履行安全保障义务的行为。

法律建议

1. 及时报案：如果您发现存款被他人取走，应立即向公安机关报案，以便公安机关能够及时调查取证，查明事实真相。同时，报案记录也可以作为您后续维权的重要证据。
2. 收集证据：您需要收集与存款被取走相关的所有证据，如存单、交易记录、报警记录等。如果可能的话，还可以收集与银行沟通的记录，如聊天记录、录音等，以证明银行是否存在过错。
3. 与银行协商：在收集到一定证据后，您可以与银行进行协商，要求银行承担相应的责任。如果银行拒绝承担责任，您可以考虑通过法律途径解决纠纷。
4. 咨询专业律师：在处理此类纠纷时，由于涉及法律知识和证据收集等方面的问题，建议您咨询专业律师的意见。律师可以根据您的具体情况，为您提供专业的法律建议和维权方案。